Participativně založené evaluační přístupy
Jiří Remr
Participatory Evaluation Approaches
Abstrakt
Cílem statě je systematizovat klíčové znaky, které odlišují participativní přístupy od ostatních způsobů provádění evaluací. Na základě provedené srovnávací analýzy jednotlivých přístupů jsou proto identifikovány společné znaky, které jsou v článku představeny a vysvětleny. Ústřední část statě je věnována dvěma odlišným tradicím, s nimiž se lze v rámci participativních přístupů setkat, a to na jedné straně praktickým participativním evaluacím, jež jsou v článku reprezentovány utilizačním přístupem M. Pattona, a na straně druhé pak transformativním participativním evaluacím dokumentovaných svépomocným přístupem D. Fettermana. Předkládaná stať kromě toho poukazuje na historické souvislosti vzniku a rozvoje participativních přístupů a identifikuje jejich inspirace a ideové prameny. V tomto ohledu stať přibližuje podstatné charakteristiky dalšího z přístupů (responzivního), který měl podstatný vliv na utváření a rozvoj participativních evaluací.
Abstract
Main goal of the paper is to present the review of main characteristics that differentiate the participatory approaches from other ways of conducting evaluations. Based on comparative analysis, the five main characteristics are identified, explained and critically assessed. Central part of the paper is devoted to two different traditions within the participatory approaches. Frist one is practical participatory evaluation represented by utilization-focused approach by M. Patton. The second tradition is transformative participatory evaluation where the attention is put on empowerment evaluation approach by D. Fetterman. Moreover, the paper describes the historical framework within that the participatory approaches developed and it also identifies its inspirations. In this respect, the paper also presents the responsive approach that significantly influenced participatory evaluations.
Klíčová slova
Participativní evaluace, responzivní evaluace, utilizační přístup, svépomocná evaluace
Keywords
Participatory evaluation, responsive evaluation, utilization-focused approach, empowerment evaluation
Tento článek byl zpracován v rámci Programu rozvoje vědních oblastí na Univerzitě Karlově (PRVOUK) č. P07.
- Úvod
Participativně založené přístupy se v evaluacích rozvíjejí zejména v posledních dvaceti letech, nicméně jejich kořeny a ideové inspirace lze vztáhnout k období počátku 70. let, kdy R. Stake představil svůj responzivní přístup k provádění evaluací. Důkladnější analýza jeho významu pro další rozvoj evaluací, a zejména pak pro vznik a rozvoj participativně založených přístupů, je uvedena níže. Úvodem je však třeba uvést, že responzivní přístup inspiroval participativně založené evaluace svým zaměřením na zainteresované strany. Další rozvoj participativně založených evaluací nastal poté, kdy E. Guba a Y. Lincolnová představili konstruktivistický přístup[1], kterým se vymezili vůči do té doby převládajícím pozitivisticky založeným evaluacím. Nová perspektiva otevřená konstruktivistickým přístupem založeným na odlišném paradigmatickém základu, otevřela prostor jak pro nová témata, tak také pro nové metody provádění evaluací. Participativně založené přístupy navazují na konstruktivistický přístup zejména ideou sdílené odpovědnosti všech zúčastněných zainteresovaných stran za výsledek provedené evaluace.
Cílem této statě je charakterizovat hlavní rysy participativně založených přístupů a poukázat na jejich odlišnosti od ostatních přístupů, které lze označit jako tradiční či klasické. Předmětem statě je dále rozbor hlavního ideového zdroje a historické inspirace participativně založených přístupů – responzivního přístupu. Dalším z cílů je charakterizovat hlavní větve participativně založených evaluací a dokumentovat jejich podobnosti a odlišnosti na základě podrobného rozboru hlavních přístupů, které tyto větve reprezentují. Obdobným způsobem, jakým je zpracován výchozí responzivní přístup, jsou přiblíženy také přístupy utilizační (utilization-focused) M. Pattona a svépomocný (empowerment) D. Fettermana. Zvolené přístupy totiž významným způsobem ovlivnily pohled na evaluace, na jejich funkci a ovlivnily také samotný způsob jejich provádění. Dílčí prvky těchto přístupů totiž nacházejí širší uplatnění i v některých dalších přístupech, čímž překročily vlastní úzce vymezený metodologický rámec.
- Obecná charakteristika participativně založených přístupů
V rámci participativně založených přístupů lze rozlišit dvě hlavní vývojové větve či ideové proudy. Evaluace, které jsou prováděny v tomto duchu, bývají označovány jako praktické participativní evaluace, zatímco druhá větev zahrnuje evaluace transformativní. První větev, která shrnuje evaluace prováděné především s cílem řešit konkrétní problémy dané evaluace, podpořit využitelnost jejích výsledků a poskytovat instrumentální i konceptuální podporu při rozhodování (Cousins, Earl 1995), je reprezentována utilizačním přístupem M. Pattona. Vedle toho druhá větev transformativních evaluací se zaměřuje na rozvíjení evaluačních dovedností
mezi zainteresovanými stranami, které nemají zkušenosti s prováděním evaluací (Alkin 2004). Tyto přístupy využívají účasti ostatních zainteresovaných stran na prováděné evaluaci k tomu, aby podpořily sdílení evaluačních dovedností a usnadnily ostatním zainteresovaným stranám provádění jejich vlastních evaluací. V rámci této větve se lze setkat s celou řadou přístupů, zejména pak s přístupem svépomocným, ale také s evaluacemi emancipačními a demokratickými.
I přes mnohé diference, které jsou dány zejména odlišným důrazem,
který autoři přikládají účelu evaluací, roli evaluátora a způsobu zapojení jednotlivých zainteresovaných stran, mají evaluace prováděné v souladu se zásadami jednotlivých participativně založených přístupů mnoho společného.
Prvním ze společných rysů participativně založených přístupů je, že evaluátoři, kteří tento přístup používají, se zaměřují na subjekty účastnící se evaluované intervence a jejich potřeby. Činí tak způsobem, který zahrnuje nejen jejich prostý popis nebo samotnou analýzu, ale přímo tyto subjekty zapojuje do tvorby designu samotné evaluace. Středobodem jejich zájmu tedy není evaluace ověřující dosažení cílů intervence jako tomu je v případě Tylerova konfirmačního přístupu (goal-based) či Scrivenova přístupu exploračního (goal-free). Není jím ani hodnocení charakteristik samotné intervence a popis intervenční logiky jako je tomu v případě Chenova přístupu vedeného teorií (Chen 1990).
Participativně založené evaluace jsou reflexivním přístupem, který se snaží rozvíjet schopnosti všech zainteresovaných stran tím, že jim poskytuje příležitost poznat a uvědomit si dosažený pokrok a bariéry při provádění dané intervence (Mertens, Wilson 2012). Tyto přístupy tak vedou nejen k samotným evaluačním závěrům, ale napomáhají jednotlivým zainteresovaným stranám rozumět principům evaluační činnosti a pomáhají jim chápat souvislosti mezi jednotlivými činnostmi. V důsledku tak mohou zlepšit zapojení dotčených zainteresovaných stran do procesů, jež jsou předmětem evaluace, např. zvyšování pracovního výkonu, zlepšování vztahů mezi zainteresovanými stranami či rozvoj organizační kultury (Harrison 2005).
Dílčí odlišnosti mezi jednotlivými participativně založenými přístupy jsou patrné v počtu a povaze zapojovaných zainteresovaných stran. Zájem evaluátorů se tak může soustředit na jednu konkrétní zainteresovanou stranu, jako např. utilizační evaluace M. Pattona nebo může zahrnovat širší spektrum zainteresovaných stran, jako např. v přístupech kolaborativním či svépomocném.
Druhým z typických rysů participativně založených přístupů je, že evaluace nepostupují podle předem definovaného plánu. Design evaluace totiž vzniká postupně na základě předchozích etap a s ohledem k informacím a poznatkům, které evaluátoři a další účastníci takto prováděných evaluací získávají (Fitzpatrick et al. 2004). Postupné utváření evaluačního designu, operativní nasazování jednotlivých metod a technik vychází ze snahy o maximalizaci tematického pokrytí a souvisí s exploračním charakterem tohoto typu evaluací. Ty přitom obyčejně směřují k vyhledávání konkrétních příležitostí a možností ke zlepšení či rozvoji hodnocené intervence.
Třetí z typických charakteristik participativně založených přístupů má rovněž metodologický charakter a týká se používání informací, údajů a dat z mnoha různých pramenů. V tomto ohledu již nejde o rys participativně založených evaluací, který by se u jiných, ne-participativních, přístupů již neobjevoval. Nicméně zájem o použití širokého spektra údajů je vlastností, která koresponduje se snahou participativně založených přístupů identifikovat a pochopit pohled jednotlivých zainteresovaných stran vstupujících do dané evaluace (Guijt 2014).
Čtvrtým rysem participativně založených přístupů je již v úvodu zmíněný interpretativní, resp. konstruktivistický základ, který předznamenává metodologickou orientaci těchto přístupů na induktivní postupy. To však neznamená, že se v participativně založených přístupech neuplatňují deduktivní postupy, nebo že zde nejsou testovány hypotézy či se při realizaci tohoto typu evaluací nepracuje s kvantitativními daty (Guba, Lincoln 1989). Naopak. Tyto metody práce, a kvantitativní údaje coby jejich produkt, však nejsou v rámci participativně založených přístupů vnímány jako reflexe objektivní reality, nýbrž jsou zde považovány za jeden z mnoha možných výkladových rámců či jinými slovy za jednu z několika verzí příběhu o posuzované intervenci a jejích dopadech.
Participativně založené přístupy jsou častokrát mylně spojovány výlučně s kvalitativními metodami, patrně proto, že se v jejich případě očekává vyšší míra pochopení, vhledu a obecně větší prostor, jež má zkoumaný subjekt k dispozici ke svému vlastnímu vyjádření. Nicméně platí, že participativně založené přístupy se k žádné konkrétní metodě nepřimykají, navíc někteří představitelé (Wadsworth 1993; Cousins, Whitmore 2007) sami vyvracejí názor, že kvalitativní výzkumné techniky vedou nutně k vyšší míře zapojení zainteresovaných stran.
Pátým rysem participativně založených přístupů je, že umožňují aktivní a přímé zapojení relevantních zainteresovaných stran do všech etap procesu provádění evaluace. Participace, jež je jádrem všech těchto přístupů, tedy spočívá mj. v možnosti všech zainteresovaných stran ovlivňovat design evaluace (Stufflebeam et al. 2000). To je v případě ostatních přístupů k provádění evaluací odlišné – design stanovuje obvykle jen evaluátor (jako např. při exploračních (goal-free) evaluacích) a evaluátor je rovněž zodpovědný za to, že evaluace dosáhne stanovených cílů. V praxi se lze setkat s tím, že některé evaluace jsou označovány jako participativní s odkazem, že v jejich rámci bylo provedeno šetření mezi beneficienty či hloubková interview s představiteli různých zainteresovaných stran. V takovém případě se však o uplatnění participativního přístupu nejedná, neboť účastníci těchto šetření nemohli ovlivňovat samotný design evaluace.
Výhody participativně založených přístupů vyplývají ze samotného faktu zapojení klíčových zainteresovaných stran do daného evaluačního procesu. Tím jsou systémově vytvářeny lepší předpoklady pro reálné a intenzivní využívání výsledků evaluace, což vede k odpovědnějšímu přístupu jednotlivých zainteresovaných stran k jednotlivým činnostem, z nichž je evaluační proces složen. Podstatnou výhodou těchto přístupů je, že napomáhají při budování a rozšiřování evaluačních kapacit, pomáhají zvyšovat a rozšiřovat evaluační dovednosti a podporují rozvoj evaluací. Participativně založené přístupy díky svému důrazu na induktivní přístupy rovněž umožňují identifikovat relevantní otázky a v neposlední řadě posilují roli účastníků, resp. aktivních zainteresovaných stran.
Naopak mezi hlavní problémy těchto přístupů patří laicizace evaluačních technik a výzkumných metod. Ukazuje se, že participativně založené evaluace sice vedou k vyššímu sdílení dosažených výsledků, ale častokrát formulované závěry nevyplývají z dat, interpretace jsou zavádějící a metodika méně exaktní. Mezi praktická omezení patří nezájem některých zainteresovaných stran angažovat se v projektu, který s jejich činností souvisí třeba jen nepřímo (jiné pracovní priority). Participativně založené přístupy bývají v neposlední řadě také kritizovány, jako snaha evaluátorů zbavit se individuální odpovědnosti za úspěšné dokončení evaluací – díky sdílené odpovědnosti jsou totiž za případný nezdar odpovědní všichni.
V souvislosti s participativně založenými evaluacemi je třeba upozornit na potenciální ohrožení vnitřní validity; tyto evaluační přístupy v důsledku své primární orientace na omezování bariér zapojení co nejširšího spektra zainteresovaných stran a s ohledem k jasné orientaci tohoto přístupu na výsledek procesu, který je spíše participativní než evaluační, zakládají své závěry na evaluačních postupech, které by v rámci jiných přístupů (např. v konfirmačním) nebyly akceptovatelné.
Aplikační potenciál participativně založených evaluací je omezen zájmem zainteresovaných stran zapojit se aktivně do evaluačního procesu. Tato na první pohled snadná a samozřejmá podmínka je však v mnoha konkrétních situacích zásadní bariérou, kvůli které není možné participativní evaluace provést. Nelze považovat za samozřejmé, že se jednotlivé zainteresované strany budou chtít zapojit do evaluace intervenčního programu, který je obrácen proti jejich zájmům, není možné předpokládat, že všechny zainteresované strany budou mít zájem seznamovat se s evaluační metodikou (Shnoes, Murény-Berman, Chambers 2000) a osvojovat si způsoby provádění hodnocení. Rovněž se v mnoha případech ukazuje, že nedostatečná schopnost jednotlivých zainteresovaných stran spolu komunikovat neumožňuje při využití těchto přístupů dosáhnout uspokojivého výsledku.
- Responsivní přístup k evaluaci (responsive evaluation; Robert Stake)
Responzivní přístup představuje jeden ze dvou hlavních ideových základů participativně založených přístupů. R. Stake při uvedení svého přístupu, který nabídl počátkem 70. let, poukázal na fakt, že řada do té doby prováděných evaluací zdůrazňovala tvrzení o cílech, akcentovala používání objektivních testů a poukazovala na standardy (ne)dodržované administrátory dané intervence (Stake, 1980). Jako protiklad k takto koncipovaným evaluacím, jejichž design R. Stake sám označoval jako předem definovaný (pre-ordinate), navrhl vlastní přístup, jehož typickým znakem je, že žádný pevný design nemají. Ten se totiž vytváří postupně krok za krokem až v průběhu realizace dané evaluace vždy na základě poznatků a dílčích závěrů vyplývajících z předchozí fáze. Evaluátor se tedy snaží citlivě reagovat na postupně se rýsující kontury zájmů jednotlivých zainteresovaných stran a operativně jim přizpůsobuje design prováděné evaluace. Responsivní evaluace tak přesouvají těžiště evaluátorovy pozornosti od cílů intervenčních programů a jejich naplnění či nenaplnění k důkladnému a detailnímu popisu hlavních zainteresovaných stran a jejich zájmů. Responsivní evaluace tak v mnoha případech nespějí k tak jednoznačným odpovědím, které nabízí např. konfirmační přístup, zato však podrobně mapují předpoklady pro jejich dosažení a rozkrývají případné bariéry, kvůli kterým nemohou být očekávané cíle naplněny.
Responsivita Stakeova přístupu se naplňuje ve dvou základních směrech. Zaprvé platí, že evaluátor je vnímavý vůči subjektům zapojeným do procesu evaluace, což ve Stakeově pojetí znamená apel na zohlednění zájmů těch zainteresovaných stran, které jsou realizací evaluace nejvíce dotčeny. Responsivní evaluátoři tak věnují významnou pozornost zejména administrátorům jednotlivých programů, jejich případným zaměstnancům, klientům a beneficientům, snaží se zohlednit zájmy těchto zainteresovaných stran a nechávají si jakoby „vnutit“ jejich pohled, jejich vnímání a jejich argumenty (Greene, Abama 2001). Zadruhé responsivní přístup předpokládá vnímavost evaluátorů vůči požadavkům, otázkám a očekáváním, která od prováděných evaluací mají zadavatelé evaluací a uživatelé evaluačních výsledků. Na první směr Stakeova přístupu odkazují později se rozvinuvší konstruktivistické evaluace[2]. Druhý směr později rozvinul M. Patton, který obrátil pozornost na návrh evaluací podporujících využitelnost výsledků tím, že evaluátor do procesu tvorby evaluačního designu zapojuje zadavatele.
Evaluace realizované na základě responzivního přístupu neodvíjejí legitimitu svých závěrů na pojmech a konstruktech obvyklých v kvantitativních společenskovědních výzkumech, jako je např. validita, nýbrž ji odvozuje z faktu, že jsou dosažené závěry akceptovány konsenzem důležitých zainteresovaných stran. R. Stake se v tomto případě opírá o koncept kvantitativní objektivity[3], čímž staví responsivní přístup do kontrapozice jak vůči konfirmačnímu přístupu (goal-based), tak také vůči přístupu exploračnímu (goal-free).
V tomto ohledu nepřekvapí, že se responsivní přístup metodologicky opírá o případové studie; důraz je kladen na analýzu forem vnímání intervenčních programů ze strany jejich beneficientů a dalších zainteresovaných stran. R. Stake poukazuje také na roli kontextu, ve kterém jsou dané evaluace prováděny a ve kterém dané intervence působí.
Responsivní evaluace nebývají završeny ultimativními závěry, které by dávaly odpověď, zdali posuzovaný intervenční program vyvolává očekávané efekty, či nikoliv. Namísto toho jsou dosažené výsledky vztahovány k očekáváním jednotlivých zainteresovaných stran, a tím poskytují podpůrné informace pro rozhodování o dalším směřování sledované intervence[4]. Při aplikaci responzivního přístupu je evaluátorův záměr vsazen do kontextu vyjádřeného přínosem intervence tak, jak ho vnímají relevantní zainteresované strany.
Pohledem výzkumné metodologie je Stakeův přístup de facto apelem na využívání smíšené metodologie. Jak sám uvádí: „oba způsoby myšlení mohou stát vedle sebe“ (Stake 2004). R. Stake sice explicitně nepíše o kvalitativní, resp. kvantitativní metodologii, nicméně kvalitativně-kvantitativní diskurs je přesto v pozadí jasně patrný. R. Stake ve svém responsivním přístupu sice volá po takových postupech, které by při provádění evaluací dokázaly reflektovat komplexitu posuzovaných intervencí, současně však zdůrazňuje, že koncept měření jednotlivých jevů nelze opustit.
Ve Stakeově responsivním přístupu je zřetelná inspirace přístupem M. Scrivena a jeho apelem na uskutečňování hodnotících soudů[5]. R. Stake však ve svém přístupu usiluje o zjemnění Scrivenova ultimativního imperativu tím, že varuje před kontraproduktivní eskalací vztahů mezi evaluátorem a zainteresovanými stranami, k níž důsledné následování Scrivenovy výzvy nevyhnutelně vede. V neposlední řadě poukazuje na relativitu těchto závěrů danou mnohostí jednotlivých zainteresovaných stran,
neboť co je nejlepší pro jednu stranu, nemusí být nejlepší pro ostatní.
Responsivní přístup zohledňuje témata, která jsou považována za zásadní z pohledu těch, kteří se přímo účastní implementace, a hledá odpovědi na evaluační otázky formulované různými zainteresovanými stranami. Tím do procesu evaluace (a následně do využití jejích výsledků) zapojuje všechny hlavní zainteresované strany. Responsivní přístup dále vede k „osvícení zainteresovaných stran“ (Owen 2006); způsob provedení evaluace, která následuje tento přístup, totiž ukazuje jednotlivým zainteresovaným stranám konkrétní procesy a dílčí aktivity, jež jsou v rámci evaluace prováděny. Tím těmto stranám umožňuje hlubší chápání jejich podstaty, ale současně přináší podstatně větší rozsah a hloubku informací o samotné intervenci. Intenzivní pocit učení se a sdílení poznatků je tak klíčovým faktorem, který zvyšuje poučenost zapojených zainteresovaných stran. Zásadní výhodou responzivního přístupu je vysoká flexibilita,
která snadno zohledňuje proměnlivý charakter kontextu samotné evaluace i hodnocené intervence. V neposlední řadě platí, že tento typ evaluací dokáže účinně zachytit široké spektrum vedlejších efektů i nezamýšlených důsledků (House 1983). Responzivní přístup je tedy otevřený v tom smyslu, že umožňuje zachycovat složitost samotné intervence, jež nemusí být zprvu známa a umožňuje popsat její kontext.
Na druhé straně responsivní přístup vyžaduje pro své provedení prostředí vzájemné důvěry mezi zainteresovanými stranami a jejich spolupráci; avšak v mnoha případech (kde jsou silné protichůdné zájmy jednotlivých zainteresovaných stran) je tato podmínka nesplnitelná. Další omezení je patrné, když některá ze zainteresovaných stran zůstane v průběhu realizace evaluace pasivní. V neposlední řadě platí, že responzivní přístup nesměřuje k jednoznačným evaluačním závěrům. Naopak takovéto evaluace jsou završeny např. lakonickým konstatováním přetrvávajících názorových rozdílů mezi jednotlivými zainteresovanými stranami.
- Utilizační přístup k evaluaci (utilization-focused evaluation; Michael Quinn Patton)
Tento přístup je reprezentantem první větve participativně založených evaluací, která bývá označována jako praktické participativní evaluace (practical participatory evaluations). Jde o větev, která usiluje o uplatnění evaluačních závěrů v praxi a zejména pak o podporu využitelnosti a využívání výsledků evaluace v rozhodovací čonnosti konkrétních subjektů. V rámci takto prováděných evaluací jsou proto zapojováni nejen beneficienti, ale také ostatní zainteresované strany včetně sponzorů evaluované intervence, administrátorů daného programu a další. Cílem utilizačního přístupu M. Pattona je víc než pouhé zapojování jednotlivých zainteresovaných stran do evaluačního procesu; utilizačnímu přístupu záleží na využívání dosažených evaluačních výsledků při praktickém rozhodování a řízení daných intervencí (Rodríguez-Campos 2005). M. Patton a jeho utilizační přístup ukazuje, že přímé zapojení jednotlivých zainteresovaných stran posiluje důvěryhodnost evaluačních závěrů, což se následně pozitivně odráží ve vyšší míře jejich využití.
Základní myšlenka tohoto přístupu není zcela originální, neboť již R. Stake věnoval polovinu responsivity svého přístupu využitelnosti provedených evaluačních šetření a nabádal, aby evaluátoři byli vnímaví vůči požadavkům zainteresovaných stran, které budou výsledky provedených evaluačních šetření využívat. Také Suchman (1967) uvádí, že „úspěch evaluačního projektu je závislý na jeho užitečnosti pro zadavatele, který se snaží zlepšit poskytované služby“. E. Suchman dále shrnuje, že evaluátor musí mít neustále na paměti potenciální užitečnost svých závěrů. M. Patton však učinil z kritéria využitelnosti a užitečnosti provedených evaluačních šetření jádro svého přístupu, zasadil ho do náležitého kontextu a dopracoval do podoby uceleného přístupu k provádění evaluací.
- Patton ve svém pojetí předpokládá, že evaluační šetření jsou od svého počátku vedena v těsné interakci evaluátora s klíčovými zainteresovanými stranami, a to zejména s těmi, které na základě výsledků dokončených evaluací činí konkrétní rozhodnutí. V jeho snaze nejde o pouhé zohlednění potřeb a požadavků uživatelů evaluačních zpráv, ale jde o rozsáhlou změnu v designu evaluačních šetření a o úpravu jednotlivých postupů a procedur, díky níž jsou výsledky evaluací nadány vysokým potenciálem využitelnosti v daných podmínkách. S tím rovněž souvisí způsobilost závěrů prováděných evaluací podporovat zainteresované strany s rozhodovacími pravomocemi ve vztahu k intervenčnímu prostředí, přinášet tak skutečnou a prakticky využitelnou zpětnou vazbu a podílet se na dalším směrování prováděných intervencí. M. Patton zdůrazňuje, že smysluplnost evaluací a využívání jejich poznatků při řízení intervencí je do značné míry závislá na tom, zdali a v jaké míře zadavatelé evaluací a další zainteresované strany akceptují výsledky provedené evaluace. Svým přístupem se tedy M. Patton snaží předejít tomu, aby výsledky provedených šetření byly manažery intervenčních programů odkládány pro nepochopení, pro jejich (domnělou) irelevanci nebo z důvodu nedostatečné spolehlivosti formulovaných závěrů.
Nejde však jen o důraz na apriorní identifikaci uživatelů výsledků evaluačních šetření coby specifického typu zainteresované strany; M. Patton současně zdůrazňuje roli aktuální situace a konkrétního způsobu, jakým jsou výsledky provedeného evaluačního šetření využívány. V tomto ohledu lze tedy hovořit o duální specifičnosti: na jedné straně je třeba uvažovat o specifičnosti subjektu, tedy přesné identifikaci a vymezení subjektů, kterým jsou doručovány výsledky provedených evaluací. Na druhé straně jde o specifičnost použití, tedy stanovení podmínek, možností a omezení, za kterých budou výsledky evaluací využívány (obyčejně se povaha a typ rozhodnutí, která se od výsledků evaluace budou odvíjet, časový rámec daného rozhodnutí, dopady rozhodnutí učiněného na základě výsledků provedené evaluace apod. specifikuje v zadávací dokumentaci k provedení evaluačního šetření). Používané metody a techniky jsou pak zvoleny s ohledem k povaze zainteresovaných stran používajících výsledky evaluačních šetření a způsobu jejich použití (Patton 1987).
Utilizační přístup tedy z celého spektra zainteresovaných stran obrací svou pozornost k těm subjektům, které činí na základě provedených evaluací další rozhodnutí. To totiž významným způsobem determinuje způsob, jakým jsou evaluace prováděny. V porovnání s responsivním přístupem, který jako by balancoval mezi odpovědností vůči zadavatelům evaluací a odpovědností vůči beneficientům či klientům, M. Patton přenáší veškerý důraz na zájmy zadavatelů evaluací. Vysoká pozornost věnovaná využitelnosti výsledků prováděných evaluací nachází svůj odraz také v jejich metodice, ve které je prvořadá pozornost věnována externí validitě. Vzhledem k tomu se u M. Pattona setkáme s větším odstupem od provádění experimentů a používání experimentálního designu. Důraz na zainteresované strany vede k individualizovanému či snad až personifikovanému popisu evaluační situace.
Zatímco R. Stake předkládá svůj responzivní přístup jako obecný způsob provádění evaluací, M. Patton od začátku koncipuje svůj přístup jako alternativu[6]. R. Stake naznačuje, že jiné než responsivní evaluace nemohou poskytnout tak bohatý popis posuzovaného prostředí, jaký nabízí jím navrhovaný přístup. M. Patton v tomto ohledu uvádí, že každá evaluace je vlastně svým způsobem (a v jisté míře) utilizačně zaměřená (Patton 2008). Pokud však jde o celkový přístup k volbě uspořádání daného evaluačního šetření, je ponecháno na evaluátorovi samotném, zdali podřídí zájmům zadavatele celý design, či nikoliv, zdali zvolí utilizační přístup, či se rozhodne pro nějaký jiný. Přirozenou konsekvencí utilizačního přístupu k provádění evaluačních šetření je normativní relativismus: prováděná evaluační šetření mohou jednostranně zohledňovat normy a hodnoty spojené s jednou jedinou zainteresovanou stranou – se zadavatelem. Utilizační přístup má tedy v tomto ohledu mnohem blíže ke Stakeově responsivnímu přístupu, který je rovněž založen na předpokládaném hodnotovém relativismu vycházejícím z hodnot jednotlivých zainteresovaných stran.
Utilizační přístup není založen na rozvinutí jiného konceptu či na jeho kritice. M. Patton jej opírá o své vlastní zkušenosti s realizací evaluačních šetření a o praktické zkušenosti mnohých dalších evaluátorů, kteří se při provádění evaluačních šetření potýkají s proměnlivým přijetím svých snah, vycházejícím z individuální podstaty jednotlivých zainteresovaných stran. Např. Cronbach poukazoval na skutečnost, že nic neovlivňuje využívání výsledků evaluačních šetření více než osobní faktor – zájem zadavatelů poučit se z provedeného evaluačního šetření a snaha evaluátora zaujmout své auditorium (Cronbach 1980).
To, co je na jedné straně klíčovou výhodou utilizačního přístupu (tedy zapojení zainteresovaných stran do samotného středu provádění daného evaluačního šetření), je současně také jeho největší slabinou. Případná změna ve složení zainteresovaných stran (byť by se jednalo o výměnu jednoho jediného pracovníka), totiž může celý proces evaluace vrátit na samý začátek nebo ho fakticky zastavit či významně zdržet. Spoléhání se na hodnoty, zájmy a očekávání jednotlivých zainteresovaných stran sice přibližuje prováděné evaluace skutečným situacím (a pravděpodobně tak posiluje jejich vnější validitu a zvyšuje pravděpodobnost jejich faktického využití), nicméně staví tím evaluátory do středu manipulativních záměrů jednotlivých zainteresovaných stran, které se mohou snažit prostřednictvím formulace vlastních požadavků dosahovat svých partikulárních cílů (Stufflebeam, Shinkfield 2007). Jiná problematičnost utilizačního přístupu k provádění evaluačních šetření pramení ze samotného způsobu využití jejich výsledků. Zdaleka ne vždy lze způsob použití předem stanovit či odhadnout. Dále se v konkrétní aplikační praxi ukazuje, že způsoby využití výsledků provedených evaluačních šetření mohou být mnohačetné, a tak by stanovení adekvátní váhy (a potažmo i významu jednotlivých způsobů použití) mohlo být v řadě případů náročnější než samotné provedení evaluace. Utilizační přístup tak vlastně vypovídá o snaze evaluátorů vyjít vstříc zadavatelům evaluací.
- Svépomocný přístup[7] k evaluaci (Empowerment Evaluation; David Fetterman)
Tento přístup je jedním z několika přístupů, které bývají zařazovány do druhé z větví participativně založených evaluací. Souhrnně jsou evaluační přístupy v této větvi nazývány jako transformativní participativní evaluace (transformative participatory evaluations). Jejich obecným specifikem je, že poskytují zainteresovaným stranám, které nejsou evaluátory, nástroje a znalosti pomocí kterých mohou transformovat své prostředí a okolnosti implementace dané intervence. Tyto zainteresované strany, které jsou typicky angažované při správě či řízení dané intervence, se aktivně účastní při provádění dané evaluace. To jim umožňuje osvojit si základní dovednosti využitelné nejen při samotné evaluaci,
nýbrž i při vlastním řízení intervence a při zapojování ostatních zainteresovaných stran. V rámci této větve se lze setkat s celou řadou přístupů, zejména pak s přístupem svépomocným (empowerment), ale také s evaluacemi emancipačními (emancipatory) a demokratickými (democratic).
Svépomocné evaluace, resp. evaluace prováděné svépomocí s dohledem a pod vedením zkušeného evaluátora mají za cíl kromě vlastní evaluace dané intervence pomáhat zainteresovaným stranám k tomu, aby si mohly pomáhat samy (Fetterman 1994). Svépomocné evaluace současně zahrnují evaluaci do plánování a řízení programu či organizace. Klíčovou otázkou tohoto přístupu je: “Jak zapojit zainteresované strany do procesu vlastního hodnocení? Jak mohou být tyto zainteresované strany podpořeny?“.
Přístup byl uveden v polovině devadesátých let Davidem Fettermanem jako přínosná a praktická alternativa k tradičním přístupům k evaluaci intervenčních programů. Wandersman et al. (2005) vymezuje svépomocné evaluace jako přístup, který si klade za cíl zvýšit pravděpodobnost úspěchu intervence tím, že poskytuje zainteresovaným stranám nástroje pro plánování a implementaci a sebe-hodnocení vlastního programu. Sám D. Fetterman svůj přístup definoval jako „použití evaluačních konceptů, technik a zjištění s cílem podpořit zlepšení a sebeurčení (svobodné rozhodnutí)“ (Fetterman 1996), a dále specifikoval pět hlavních charakteristik tohoto přístupu:
- a) učí ostatní provádět jejich vlastní evaluace a posiluje tak jejich soběstačnost a nezávislost,
- b) vede ostatní při provádění jejich vlastních evaluací,
- c) obhajuje smysl a význam evaluací, což umožňuje prováděné evaluace lépe zacílit,
- d) objasňuje a poskytuje poučení v mnoha úrovních implementace hodnocené intervence,
- e) zrovnoprávňuje zainteresované strany, neboť je osvobozuje od zavedených očekávání a rolí.
Fettermanův přístup reagoval na tendence, které směřovaly k „politizaci evaluací, striktním termínům, omezeným rozpočtům a k nadměrnému zdůrazňování hospodárnosti prováděných evaluací, které v mnoha případech pokřivily evaluační postupy“ (Hopkins 1989). Svépomocné evaluace pracují vždy se skupinou několika zainteresovaných stran, neboť jen tak lze účinně bránit tomu, aby evaluace a její výsledky byly usurpovány některou ze zainteresovaných stran (což se může snadno stát např. v případě utilizačního přístupu). Evaluátor tedy musí na začátku evaluace dbát na to, aby jednotlivé zainteresované strany byly při provádění evaluace adekvátně zastoupeny a měly prostor a příležitost vyjádřit svá stanoviska.
Důraz je v rámci tohoto přístupu kladen nejen na samotné zapojování zainteresovaných stran (tak tomu je ostatně v případě všech participativních přístupů), ale v případě svépomocných evaluací jde ještě navíc o snahu podpořit sebe-rozvoj ostatních zainteresovaných stran, posílit jejich nezávislost a podpořit sebe-uvědomění jednotlivých účastníků. Předmětem koučingu ze strany evaluátora není jen samotná evaluační metodologie (tj. naučit zainteresované strany samostatně provádět evaluaci), ale také další činnosti, které s evaluacemi souvisí. Zejména pak správná definice a formulace cílů intervence, schopnost uskutečňovat, zaznamenávat a vykazovat pokrok intervence směrem ke stanoveným cílům. Svépomocné evaluace umožňují extenzivní participaci hlavních zainteresovaných stran ve všech fázích procesu evaluace.
Tento přístup napomáhá při rozvoji evaluačních kapacit, dává rozličným zainteresovaným stranám příležitost vyjádřit se a otevírá otevřenou diskusi o výhodách a nevýhodách hodnocených činností. Vysoký význam v tomto ohledu má rozvoj schopností identifikovat potřeby, stanovit cíle, načrtnout plán činností, najít vhodná data a učinit závěr o míře naplnění vytyčených cílů.
Svépomocné evaluace projevují hluboký respekt ke schopnosti vytvářet znalost. Proto považují žitou zkušenost jednotlivých lidí za validní pramen znalostí, jež mohou iniciovat společenskou změnu, spíše než poznatky zachycené v análech vědecké komunity (Vanderplaat 1995). Evaluace je považována za prostředek, který zainteresovaným stranám zapojeným do procesu přípravy či plánování politik a programů umožňuje vlastní rozvoj (samostatné provádění evaluací). Svépomocné evaluace poukazují, že účinnost intervence není dána jen dosažením stanovených cílů či vyhověním nějakému (vesměs externímu) modelu, ale také tím, že si účastníci intervence osvojují dovednosti a strategie, chápou a reflektují jednotlivé procesy. Ke zlepšování nedochází nařízením shora, ale zapojením, praxí a osvojením těch, kteří jsou součástí systému.
Fetterman (2001) uvádí tři kroky realizace svépomocných evaluací:
1) Příprava mise a vize
Cílem specifikace mise a vize, resp. účelu sledované intervence je dosažení souhlasu mezi jednotlivými zainteresovanými stranami týkajícího se základních hodnot, smyslu a plánovaných dopadů dané intervence. I pokud je mise a vize pro danou intervenci již formulována, přesto je třeba ji mezi zainteresovanými stranami v rámci prováděné evaluace diskutovat. Vzhledem k povaze svépomocné evaluace je žádoucí strategické směry intervence v rámci diskuse rekonstruovat, popř. revidovat. Nejde totiž jen o cíle samotné, ale o tvorbu a diseminaci skupinových hodnot, vytváření významů a poskytování prostoru jednotlivým zainteresovaným stranám.
2) Inventura
Tento krok zahrnuje především brainstorming zaměřený na hodnocení nejdůležitějších aktivit prováděných v rámci intervence a stanovení priorit. Výsledkem je robustní základ výchozích předpokladů, parametrů a dat umožňující jednak sledování běhu dané intervence a posuzování jejích silných a slabých stránek.
3) Plánování
Jsou identifikovány realistické cíle (goals) jednotlivých aktivit spolu se způsobem jejich dosažení (strategie) a využité zdroje informací (evidence), které umožňují monitorovat pokroky při dosahování těchto dílů.
- Fetterman se návrhem svého přístupu snažil překonat obvyklý nedostatek ostatních přístupů k provádění evaluací, které provádějí hodnocení pouze k jednomu konkrétnímu datu a poskytují tak informaci v podobě časového snímku. Naproti této statické reflexi prováděných intervencí, D. Fetterman usiloval o to, aby evaluace mohly přinášet zpětnou vazbu dlouhodobě, a proto se tento přístup typicky zaměřuje na posuzování procesu. Hodnotí tedy nejen, jaké výsledky daná intervence dosáhla, ale klade důraz na vývoj dané intervence v dlouhodobější časové perspektivě. Svépomocné evaluace se tak zaměřují na proces intervence daného programu.
Hlavní výhody, které svépomocné evaluace přinášejí, vyplývají z jejich participativního charakteru. Kromě již zmíněného zaměření na procesní stránku prováděných intervencí, spočívá jejich přínos v zapojování širokého spektra zainteresovaných stran. Ze strany evaluátora je motivace v tomto ohledu dána snahou podpořit využitelnost prováděné evaluace a maximalizovat tak dopady dosažených evaluačních závěrů na činnost a fungování dané intervence. Z hlediska ostatních zainteresovaných stran (zejména těch, které jsou spjaty s činností daného programu – tj. administrátoři či pracovníci) je motivace k co nejširšímu zapojení dána snahou podpořit zastupitelnost konkrétních členů v rámci zapojených zainteresovaných stran (např. zastupitelnost mezi zaměstnanci) a snahou zvýšit efekt z koučingu poskytovaného evaluátorem. Iterační charakter evaluace, který se krok za krokem zaměřuje na jednotlivé fáze implementačního procesu a podrobuje je evaluaci, umožňuje inkrementální zlepšování dané intervence. V neposlední řadě je výhodou svépomocných evaluací, že mechanismus hodnocení intervence je přímo zakomponován do procesu implementace daného programu a současně toho hodnocení institucionálně zakotvuje. V důsledku toho totiž mohou být jednotlivé intervence flexibilně řízeny a mohou promptně reagovat na soustavně se proměňující kontext, ve kterém jsou tyto programy vykonávány.
Hlavní nevýhodou Fettermanova přístupu je jeho konceptuální vágnost. Není totiž zřejmé, jak přesně se jeho přístup svépomocných evaluací odlišuje od ostatních participativních přístupů či od přístupu utilizačního. Zřetelnou diferenciaci navíc komplikuje sám D. Fetterman, který svépomocné evaluace nahodile ztotožňuje nejen s evaluacemi participativními, a s evaluacemi kolaborativními, ale dokonce také s vlastním hodnocením a dokonce s organizačním učením.
Rovněž lze svépomocným evaluacím vytknout, že mohou vést k vychýleným závěrům, a to v závislosti na tom, jak funguje systém vzájemného vyvažování zájmů různých zainteresovaných stran. Zejména ti, kteří jsou přímo odpovědní za administraci a řízení hodnocené intervence mohou mařit (či minimálně vychylovat) snahy o její vyvážené posouzení. D. Fetterman v neposlední řadě neuvádí praktická doporučení, jak rozdělit kompetence a odpovědnost za evaluaci prováděnou svépomocí a kdo by měl toto rozdělení provést (jistě v tomto ohledu nelze spoléhat na svépomoc zapojených zainteresovaných stran). D. Fetterman dále nespecifikuje, pro jaký typ intervencí, popř. pro jaký druh organizačního uspořádání se svépomocné evaluace hodí, a pro který nikoliv.
- Závěry
Participativní přístupy tak zachycují a popisují realitu jako mnohačetnou entitu spíše než jako jednoduchý kauzální řetězec příčin a následků. Předpokládají, že žádná ze zainteresovaných stran nedokáže zprostředkovat úplný obraz hodnoceného programu či intervence, a proto je při evaluacích prováděných některým z participativně založených přístupů důležité zachycovat, jak různé strany vnímají a interpretují jednotlivé procesy, aktivity a události. Důležitým výsledkem takto pojatých evaluací je pochopení podstaty intervence, její dopady na jednotlivé zainteresované strany a význam všech kontextových vlivů.
I přes otevřeně vyjádřenou inspiraci Stakeovým responzivním přístupem se od něj participativní evaluace nejméně v jednom ohledu zásadně odlišují. Zatímco R. Stake volal pro zohlednění situace dotčených zainteresovaných stran a usiloval o interakci s nimi, participativní evaluace tento rámec zapojení zainteresovaných stran překračují a předpokládají plnohodnotné a aktivní zapojení zainteresovaných stran v celém evaluačním procesu. Oproti responzivnímu přístupu, který nepožaduje více, než aby evaluátoři zaměřili svou pozornost na zainteresované strany, jichž se daný evaluační projekt dotýká (což v mnoha případech znamená např. dotazování vzorku všech dotčených zainteresovaných stran), participativní evaluace činí ze zainteresovaných stran „kolegy-evaluátory“,
kteří ovlivňují design prováděné evaluace, a jsou tak vtaženi do procesu rozhodování o postupu evaluační činnosti, sběru dat i analýzy a vyhodnocení výsledků. Oproti responzivnímu přístupu, vycházejí tedy participativní evaluace z představy plnohodnotného, přímého a aktivního zapojení zainteresovaných stran, což činí z evaluačního procesu husté předivo interaktivních činností, které nejsou jednoznačně adresovány ani evaluátorům (viz v ostatních přístupech např. formulace otázek či příprava zprávy), ani zadavatelům (zejm. stanovení cílů, definice požadavků, konfirmace kritérií pro posuzování). Evaluátor při participativních evaluacích vystupuje jako partner jednotlivých zainteresovaných stran, jako konzultant či kouč, který stimuluje, rozvíjí a vybízí jednotlivé zainteresované strany k aktivitě v rámci jednotlivých etap evaluační činnosti.
Zdroje
[1] ALKIN, M. C. (2004) Evaluation Roots. London, SAGE Publication.
[2] CHEN, H-T. (1990) Theory-Driven Evaluations. London, SAGE Publishing.
[3] COUSINS, J. B., EARL, L. M. (1995) Participatory Evaluation in Education: Studies in Evaluation use and Organizational Learning. London: Falmer Press.
[4] COUSINS, J. B., WHITMORE, E. (2007) Framing Participatory Evaluation. In New Directions for Evaluation No 114, San Francisco, Jossey-Bass.
[5] CRONBACH, L. (1980) Toward Reform of Program Evaluation. San Francisco, Jossey-Bass.
[6] EISNER, E. (1979) The Educational Imagination. New York: MacMillan.
[7] FETTERMAN, D. (1994) Empowerment Evaluation. Evaluation Practice, 15, 1–15.
[8] FETTERMAN, D. M. (1996) Empowerment Evaluation – An Introduction to Theory and Practice. In FETTERMAN, D. M., KAFTARIAN, S. J., WANDERSMAN, A. (eds.) 1996. Empowerment Evaluation – Knowledge and Tools for Self-Assessment and Accountability. pp. 3–46, London, Sage Publications.
[9] FETTERMAN, D. (2001) Foundations of Empowerment Evaluation. California, Thousand Oaks: Sage Publications.
[10] FITZPATRICK, J. L., SANDERS, J. R., WORTHEN, B. R. (2004) Program Evaluation. Alternative Approaches and Practical Guidelines. London: Sage Publications.
[11] GREENE, J. C., ABMA, T. A. (editors), (2001) Responsive Evaluation. San Francisco, Jossey-Bass.
[12] GUBA E. G., LINCOLN, Y. S. (1989) Fourth Generation Evaluation. London, SAGE Publishing.
[13] GUIJT, I. (2014) Participatory Approaches, Methodological Briefs: Impact Evaluation 5, UNICEF Office of Research, Florence. Retrieved from: http://devinfolive.info/impact_evaluation/img/downloads/Participatory_Approaches_ENG.pdf
[14] Harrison, M. I. (2005) Diagnosing Organizations (Methods, Models and Processes). London, SAGE Publishing.
[15] HOUSE, E. R. (ed.), (1983) Philosophy of evaluation. In: New Directions for Program Evaluation, No. 19. San Francisco, Jossey-Bass.
[16] HOPKINS, D. (1989) Evaluation for School Development. Buckingham: Open University Press.
[17] MERTENS, D. M., WILSON, A. T. (2012) Program Evaluation Theory and Practice. A Comprehensive Guide. New York, The Guilford Press.
[18] OWEN, J. M. (2006) Program Evaluation. Forms and Approaches. New York, The Guilford Press.
[19] PATTON, M. Q. (1987) How to Use Qualitative Methods in Evaluation. London, SAGE Publishing.
[20] PATTON, M. Q. (2008) Utilization-Focused Evaluation. London, SAGE Publishing.
[21] RODRÍGEZ-CAMPOS, L. (2005) Collaborative Evaluations. Florida, Llumina Press.
[22] SCRIVEN, M. (1967) The Methodology of Evaluation. In Stake R. E. (ed.) Curriculum evaluation. American Educational Research Association Monograph Series on Evaluation No 1. Chicago, Rand McNally.
[23] SCRIVEN, M. (1972) Objectivity and Subjectivity in Educational Research. In: THOMAS, L. (ed.), Philosophical Redirection of Educational Research (71st Yearbook of the NESSE; pp. 94–142). Chicago: National Society for the Study of Education.
[24] SCHNOES, C. J., MURPHY-BERMAN, V., CHAMBERS, J. M. (2000) Empowerment Evaluation Applied: Experiences, Analysis and Recommendations from a Case Study. American Journal of Evaluation, 21(1), 53-64.
[25] STAKE, R. E. (1980) Program Evaluation, Particularly Responsive Evaluation. In Dockrell W. B., Hamilton D. (eds.) Rethinking Educational Research. London, Hodder and Stoughton.
[26] STAKE, R. E. (2004) Standards-Based & Responsive Evaluation. London: SAGE Publishing.
[27] STUFFLEBEAM, D. L., SHINKFIELD, A. J. (2007) Evaluation, Theory, Models & Applications. San Francisco: Jossey-Bass.
[28] STUFFLEBEAM, D. L., MADAUS, G. F., KELLAGHAN, T. (2000) Evaluation Models. Viewpoints on Educational and Human Services Evaluation. Boston: Kluwer Academic Publishers.
[29] SUCHMAN, E. A. (1967) Evaluative Research: Principles and Practice in Public Service and Social Action Programs. New York, Russell Sage.
[30] VANDERPLAAT, M. (1995) Beyond Technique: Issues in Evaluating for Empowerment. Evaluation, 1, 81–96.
[31] WADSWORTH, Y. (1993) “What is Participatory Action Research?” Melbourne, Action Research Issues Association.
[32] WANDERSMAN, A. et al. (2005) The Principles of Empowerment Evaluation. In: FETTERMAN, D. M., WANDERSMAN, A. (Eds.), Empowerment Evaluation Principles in Practice (pp. 27–41). New York: Guilford Press.
[1] O konstruktivistickém přístupu viz Remr, J. (2013). „Srovnání vybraných přístupů k realizaci evaluací“. Evaluační teorie a praxe 1(1): 27–49
[2] E. Guba, coby reprezentant konstruktivistického směru v oblasti evaluací, na R. Stakea přímo odkazuje a činí z responzivního přístupu jeden z pilířů konstruktivistického přístupu.
[3] Kvantitativní objektivita nastává konsenzem zainteresovaných stran; jde však o pouhou pseudo-objektivitu, neboť ani stoprocentní konsenzus nezaručuje, že se zúčastněné zainteresované strany ve svém hodnocení nemýlí, a že jejich úsudek odpovídá realitě (Scriven 1972; Eisner 1979)
[4] Ve Stakeově pojetí je myšlenka formativní funkce evaluací velmi zřetelná.
[5] Scriven (1967) píše: „Evaluators must judge.“
[6] Např. výchozí definici utilizačního přístupu formuluje jako doplněk k obecným definicím evaluace.
[7] V českém překladu používám uvedený pojem namísto pojmu „posilující evaluace“,
který se v některých překladech rovněž objevuje. Zdá se totiž, že pojem „svépomocnýpřístup k evaluaci“ či „svépomocná evaluace“ vystihuje hlavní rys tohoto přístupu.