Úvodní stránka » Archiv čísel » Články 01 2016 » Metody identifikace STH

Metody identifikace zainteresovaných stran

Jana Garay

Stakeholders Identification Methods

Abstrakt

Analýza zainteresovaných stran (stakeholderů) představuje v současné evaluační praxi již běžně akceptovanou součást hodnotícího procesu. I přesto zůstávají aktuálně uplatňované postupy v tomto ohledu nedostatečné. Zainteresované strany bývají identifikovány jen intuitivně a nesystematicky, spektrum zainteresovaných stran zúženo na administrátora intervence a cílové skupiny. Cílem této stati je poukázat na konkrétní metody a přístupy, které jsou vhodné pro využití při analýze zainteresovaných stran, a to především při jejich identifikaci. Nesystematické metody jako brainstorming, rozhovory s klíčovými informanty a snowball se vyskytují v evaluacích častěji než systematické, především z důvodu snadné aplikace, mají ale vysoký potenciál pro subjektivnost a neúplnou identifikaci zainteresovaných stran. Text zdůrazňuje důležitost systematického a neintuitivního provádění identifikace zainteresovaných stran s cílem vyvážit nedostatky nesystematických metod a povzbudit k systematičtější práci se zainteresovanými stranami v evaluaci.

Abstract

Stakeholder analysis is considered a common part of current evaluation practice. In spite of that, the procedures applied in the area remain insufficient. Stakeholders tend to be identified only in an intuitive and piecemeal fashion, the range of stakeholders narrowed down to the program administrator or target groups. The aim of this paper is to highlight specific methods and approaches that are suitable for use in stakeholder analysis, and particularly in their identification. Non-systematic (intuitive) methods such as brainstorming, key informant interviews and snowball are used in evaluation more frequently than systematic approaches due to their relative ease of application, yet their potential for subjectivity and incompleteness of stakeholder analysis is much greater. The paper emphasizes the importance of systematic and non-intuitive stakeholder identification in order to overcome the shortcomings of non-systematic methods and encourage a more comprehensive work with stakeholders in evaluation.

Klíčová slova

Zainteresované strany, analýza, systematický přístup, intuitivní metody, mapování zainteresovaných stran

Keywords

Stakeholders, analysis, systematic approach, intuitive methods, stakeholder mapping

1. Úvod

Tradici diskurzu o zainteresovaných stranách a jejich zapojování do procesu evaluace lze vysledovat od přelomu 70. a 80. let 20. století, kdy na význam zainteresovaných stran začaly poukazovat mnohé přístupy, zejména pak responzivní přístup R. Stakea (1975) a konstruktivistický přístup E. Guby a Y. Lincolnové (1989). I přesto však pozornost, která se v evaluační praxi věnuje identifikaci zainteresovaných stran a analýze jejich zájmů, síly a vzájemných vztahů, není dostatečná. Rezignace na důkladnou analýzu zainteresovaných stran se obvykle opírá o domnělou časovou a zdrojovou náročnost dané činnosti. Významnou bariérou je také nízké povědomí o vhodných metodách pramenící ze skutečnosti, že příslušné techniky jsou popsány jen dílčím způsobem. Relevantní prameny jsou navíc často roztříštěné a je třeba je hledat i v jiných vědních disciplínách (např. v rámci politologie či psychologie). Objevují se také argumenty, že analýza zainteresovaných stran bývá v evaluacích prováděna a běžně se uplatňuje. Je pravdou, že se o zainteresovaných stranách a jejich zájmech, postojích či chování mluví v souvislosti s evaluacemi často a poukazuje se mj. na to, že se zainteresovanými stranami byly vedeny rozhovory nebo že byly jinak zapojeny do procesu evaluace. Ve většině takovýchto případů však zainteresované strany bývají identifikovány jen intuitivně a nesystematicky, spektrum zainteresovaných stran je zúženo na administrátora intervence, případně jsou zainteresované strany ztotožňovány s cílovými skupinami. Výsledný obraz posuzované intervence zprostředkovaný takto koncipovanou evaluací pak může být parciální a pokřivený.

Cílem této stati je poukázat na konkrétní metody a přístupy, které jsou vhodné pro využití při analýze zainteresovaných stran, a to především při jejich identifikaci. Jak je patrné z dalšího textu, jde jak o nesystematické přístupy založené na tradičních technikách, jakými jsou např. rozhovory s klíčovými informanty či rešerše, tak také o přístupy systematické,
které používají méně obvyklé techniky. Tato přehledová studie si tedy klade za cíl poskytnout systematický přehled relevantních metod a použitelných technik a argumentovat, že pro důkladnou analýzu zainteresovaných stran je zapotřebí zvolit adekvátní postup umožňující přesné a spolehlivé rozpoznání důležitých zainteresovaných stran. To následně může přispět k hlubšímu a komplexnějšímu porozumění posuzované intervence a v neposlední řadě také k vyšší objektivnosti a přijatelnosti evaluačních závěrů.

2. Současné panorama využití analýzy zainteresovaných stran

Potřeba důkladné analýzy zainteresovaných stran je v současné evaluační praxi akceptovanou a v některých kontextech dokonce neodmyslitelnou součástí hodnotícího procesu. Pečlivá identifikace a adekvátní způsob analýzy zainteresovaných stran je přínosná, neboť mj. umožňuje objasnit rozdílnost perspektiv, které evaluační tým není schopen ze své pozice identifikovat a objasnit zdánlivě protichůdné efekty posuzovaného programu. Navíc umožňuje zjistit, co zainteresované strany o hodnocené intervenci nebo problematice vědí a vyvarovat se tak zkoumání známých skutečností (Preskill a Jones, 2009).

Identifikace a následná analýza zainteresovaných stran pomáhá v řadě situací tvůrcům intervencí poskytovat informace o klíčových aktérech, kteří mají zájem na výsledcích posuzované intervence (Schmeer, 1999). Zapojením všech relevantních zainteresovaných stran pojímá evaluace strategičtější perspektivu a její závěry a doporučení lze, za jinak stejných podmínek, považovat za validnější, ucelenější a užitečnější.

Zatímco účast zainteresovaných stran na plánování intervencí a do určité míry i na jejich provádění je zohledňována při přípravě a provádění intervence, v případě plánování a provádění evaluace je praxe odlišná. Z toho důvodu je nutné odlišit zapojování zainteresovaných stran do procesu evaluace od jejich zapojování do intervence samotné. Tato stať, pokud není explicitně uvedeno jinak, se zaměřuje na zapojování zainteresovaných stran do evaluace.

Navzdory tomu, že práce se zainteresovanými stranami představuje integrální součást většiny soudobých evaluačních přístupů (Remr, 2013), v evaluační praxi nejsou příslušné postupy uplatňovány v dostatečné míře. Při mnohých evaluacích jsou zainteresované strany zúženy pouze na zadavatele evaluace a cílovou skupinu (resp. na příjemce podpory či na přímé beneficienty). Zainteresované strany jsou pak často pouze identifikovány, aniž by byl prováděn další rozbor jejich zájmů a vztahu jednotlivých zainteresovaných stran k posuzované intervenci či k evaluaci a jejím výsledkům. Rovněž chybí strategie analýzy a syntézy výsledků evaluace zohledňující roli, význam a moc jednotlivých zainteresovaných stran. Otázkám identifikace a analýzy zainteresovaných stran je ze strany evaluátorů i zadavatelů evaluací věnována pouze okrajová pozornost. Nedokonalá analýza zainteresovaných stran však není jen problémem evaluací prováděných v ČR, neboť na mnohé z nich poukazují i prameny publikované v zahraničí. Nerozlišování mezi klienty a dalšími zainteresovanými stranami evaluace bylo mj. identifikováno jako jedna z častých chyb již v roce 1994 v rámci druhého vydání celosvětově nejrozšířenějších standardů pro provádění evaluací intervenčních programů JCSEE (Sanders, 1994). Neuspokojivá situace přitom přetrvává do současnosti (Grooves a Guijt, 2015).

 

Význam problematiky

Aktuální praxe zaostává za požadavky, které jsou definovány příslušnými oborovými normami. Standardy evaluační praxe vydané Výborem pro evaluace ve vzdělávání (JCSEE)[1] uváděly ve druhém vydání z roku 1994 identifikaci zainteresovaných stran jako první standard celého souboru (Sanders, 1994), který v následné aktualizaci v roce 2010 předčila pouze důvěryhodnost evaluátora (Yarbrough, Shula, Hopson a Caruthers, 2010). Obdobně vysokou důležitost identifikaci zainteresovaných stran přikládá i Česká evaluační společnost, jejíž Formální standardy provádění evaluací jsou na výše zmíněném souboru založeny (ČES, 2013). Identifikace zainteresovaných stran (resp. pozornost věnovaná zainteresovaným stranám, jak se standard nazývá ve třetím vydání JCSEE) spadá do kategorie Užitečnost a ukládá, že „evaluace by měla věnovat pozornost celé řadě jednotlivců a skupin zainteresovaných v programu a dotčených jeho evaluací (Canadian Evaluation Society, 2014).“ Míra a adekvátnost, s jakou jsou zainteresované strany identifikovány a zapojeny do evaluace, určuje kvalitu a objektivitu výstupů evaluace a významně tak ovlivňuje její následné využití.

Význam problematiky dokládají také mnohé manuály a příručky, které na potřebnost analýzy zainteresovaných stran explicitně upozorňují. Například Manuál provádění monitoringu a evaluace vydaný Evropskou komisí pro programové období 2014–2020 výslovně doporučuje držet se zavedených evaluačních standardů, které se týkají mj. zainteresovaných stran (Evropská komise, 2014). Konkrétně dle Evropské komise „každý program musí jasně definovat, jakých postupů využije pro zapojení zúčastněných stran“ (str. 37).

Obdobným způsobem se o zapojení zainteresovaných stran vyjadřují i Standardy kvality v rozvojových evaluacích OECD DAC (OECD, 2010), dle nichž je třeba relevantní zainteresované strany zapojit v rané fázi evaluace a poskytnout jim příležitost přispět svými náměty do evaluačního designu (str. 9). Z výše uvedeného vyplývá, že dostupné manuály a návody na provádění evaluací kladou na práci se zainteresovanými stranami značný důraz.

 

Potřebnost analýzy

V posledním desetiletí došlo k nárůstu počtu příruček, manuálů a souborů nástrojů, které poskytují návod, jak efektivně analýzu zainteresovaných stran provést (např. Brouwer, Groot Kormelinck a van Vugt, 2012; GTZ, 2007; Renard, 2004; REVIT, 2007; Schmeer, 1999). Většina těchto dokumentů však poskytuje jen vágní a obecný návod, zatímco konkrétní metody, pokud jsou popisovány, se zaměřují téměř výlučně na techniky prováděné v rámci participativních workshopů. Tato stať se proto snaží tuto informační mezeru alespoň částečně vyplnit a navrhuje konkrétní metody pro náležitou identifikaci zainteresovaných stran.

3. Vymezení a typologizace zainteresovaných stran

Olander a Landin (2005) definují zainteresované strany jako ty, kteří mohou pro program nebo projekt představovat hrozbu nebo benefit. Zatímco toto vymezení je typické spíše pro svět korporací, v oblasti evaluací se za zainteresované strany obvykle považují subjekty, které mají zájem (stake) na tom, co se hodnotí, a které jsou zároveň v pozici, aby mohly výsledky hodnocení využít (Preskill a Jones, 2009). Definice Olandera a Landina nicméně poukazuje na okolnost, která je z analytického hlediska důležitá: zainteresované strany mají nebo by mohly mít zájem na ovlivňování projektu či programu a jsou v pozici, kdy mohou takovýto vliv uplatnit. Tato charakterizace zainteresovaných stran je relevantní i pro oblast evaluací.

Přestože lze některé druhy zainteresovaných stran identifikovat velmi snadno, řada dalších nemusí být evaluátorovi zřejmá. Může se jednat o zainteresované strany, které doposud neprojevily o danou intervenci nebo o tematickou oblast zájem, přesto však mohou disponovat účinnými mocenskými nástroji, které mohou evaluaci v pozdější fázi výrazněji ovlivnit. Je proto velmi nepřesné a metodologicky nekorektní spoléhat na intuici případně jen odhadovat, kdo zainteresovanou stranou je a kdo nikoliv.

V evaluační literatuře se objevuje řada typologií zainteresovaných stran. Základní rozdělení poskytuje Markiewicz (2005), který rozlišuje mezi následujícími zainteresovanými stranami: 1) tvůrci politik a vyšší management, 2) realizátoři a administrátoři intervencí a 3) uživatelé služeb nebo klienti. V závislosti na povaze intervence může však toto dělení být značně zjednodušující, jelikož v každé z uvedených kategorií mohou existovat subjekty s rozdílnými zájmy (například mezi administrátory intervencí a jednotlivými realizátory). Z praxe je také zřejmé, že v mnohých případech nelze opomíjet ani zákonodárné a justiční orgány, které sice nemusejí mít přímý zájem na konkrétní intervenci, ale svým rozhodnutím mohou danou iniciativu zablokovat nebo zkomplikovat.

Zainteresované strany lze také typologizovat na základě jejich role ve vztahu k evaluaci nebo k posuzované intervenci. Klíčovou zainteresovanou stranou je pro evaluátora obvykle zadavatel evaluace, který navíc ve většině případů splývá se sponzorem evaluace. V některých případech se však může zadavatel evaluace od sponzora lišit a v takovém případě mohou mít obě zainteresované strany na evaluaci odlišný zájem. Rozdílné zájmy lze identifikovat i v případě dalších skupin zainteresovaných stran.

Guba a Lincoln (1981) věnovali rozdělení zainteresovaných stran (pro které používali pojem „publikum“ [2]) značnou pozornost a tradičně rozlišovali mezi publikem, které hraje roli v podpoře nebo rozvoji intervence, publikem, které potenciálně čerpá výhody z intervence, a publikem které může být danou intervencí znevýhodněno či dokonce poškozeno. Patton (2008) uvádí obdobnou kategorizaci zainteresovaných stran podle jejich role v programu, klade však důraz na rozdílné role v podpoře, plánování a implementaci programu:

• subjekty, které mají pravomoc rozhodovat o dané intervenci, včetně případných tvůrců politik, sponzorů a poradců,
• subjekty, které jsou za danou intervenci přímo zodpovědné; dále pak subjekty, které ji navrhly, administrátoři, manažeři a pracovníci, kteří poskytují přímé služby spojené s danou intervencí,
  • subjekty, které jsou zamýšlenými beneficienty,
  • subjekty, které jsou danou intervencí znevýhodněny.

 

Rossi, Lipsey a Freeman (2004) jdou v diferenciaci zainteresovaných stran ještě dále a odlišují tvůrce politik a subjekty s pravomocí rozhodovat o dané intervenci od sponzorů a zadavatelů evaluace; zároveň definují také konkurenty posuzované intervence (např. alternativní vzdělávací programy). Autoři dále doporučují identifikovat tzv. kontextuální zainteresované strany, kterými mohou být organizace, skupiny a jednotlivci, jejichž aktivity přímo navazují či souvisejí s danou intervencí (např. poskytovatelé substitučních či komplementárních služeb). Poslední skupinou, které by evaluátoři měli věnovat pozornost, jsou ostatní evaluátoři a výzkumníci.

K subjektům uváděným v rámci výše představených typologií je vhodné ještě doplnit samotné evaluátory, kteří posuzují danou intervenci, neboť
i oni sami vnášejí do procesu hodnocení své vlastní zájmy (např. zájem na aplikaci osvědčené či naopak nové metody, zájem na splnění očekávání zadavatele).

Při rozpoznávání toho, kdo patří mezi zainteresované strany hodnocené intervence je zároveň důležité, aby všechny zainteresované strany byly identifikovány na správné úrovni agregace, tj. na úrovni, která dává smysl ze strategického hlediska (Eden & Ackermann, 1998, cit. v Bryson a kol., 2011). Například „veřejná správa“ obvykle není zainteresovanou stranou, ale její dílčí části jako magistrát města či policie jí být mohou. Veřejná správa jako celek představuje jakousi fantomovou zainteresovanou stranou (phantom stakeholder), a měla by proto být z výčtu identifikovaných subjektů vynechána.

Různé skupiny a typy zainteresovaných stran se mohou překrývat. Typickým příkladem je překryv mezi sponzorem programu a sponzorem evaluace, nebo překryv mezi zadavatelem evaluace a iniciátorem intervence. Nastávají však také situace, kdy v rámci jedné organizace (snadno ztotožnitelné se zainteresovanou stranou) existují subjekty s rozdílnými zájmy. V takovém případě je nutné snížit úroveň, na které jsou jednotlivé zainteresované strany identifikovány, například na úroveň jednotlivých odborů, oddělení či dokonce jednotlivců, aby bylo možné jednotlivé zájmy na evaluaci podchytit. Kennon, Howden a Hartley (2009) explicitně upozorňují, že v takovýchto situacích je důležité zaměřit se na jednotlivce a jejich role v rámci organizací, neboť jsou to jednotlivci, kdo disponují mocenskými nástroji a kdo navazují vztahy s ostatními. Konkrétně dle autorů jsou to jednotlivci, nikoli organizace, kdo utváří sítě, v nichž se uplatňuje vliv a moc.

Proces identifikace zainteresovaných stran tedy může vyústit v rozsáhlý seznam potencionálních subjektů se skutečným nebo domnělým zájmem na prováděné evaluaci. Proto je třeba v dalším kroku rozlišit zainteresované strany podle jejich významu. Fitzpatrick, Sanders a Worthen (2004) nabízí intuitivní rozdělení identifikovaných zainteresovaných stran podle účelu, ke kterému zařazení těchto subjektů do evaluace slouží. Toto rozdělení zahrnující různé gradienty zájmů od využití evaluačních závěrů pro tvorbu nových politik až po pouhý zájem je uvedeno v Tabulce 1 společně s výčtem obvyklých zainteresovaných stran.

 

Důležitost zainteresovaných stran lze určit také analýzou jejich moci, legitimity a schopnosti získat pozornost (Mitchell, Agle, a Wood, 1997, cit. v Bryson a kol. 2011). Zainteresované strany je dále možné dělit podle jejich angažovanosti v programu (potažmo v evaluaci), dle prostředků vlivu, kterými disponují a které mohou mít jak pozitivní (např. prodloužené financování), tak také negativní (např. ukončení intervence, postih administrátorů intervence) dopady na posuzovanou intervenci a zainteresované strany.

V závislosti na povaze intervence nebo jejím účelu mohou nabývat zvláštní důležitosti také konkrétní osobní a osobnostní charakteristiky zainteresovaných stran (např. pohlaví či věk), jejich umístění (např. vzdálenost od epicentra problému) a charakteristiky intervence samotné (např. časový rámec či regionální dostupnost). Konkrétní výčet těchto charakteristik je uveden v Tabulce 2.

 

4. Metody identifikace zainteresovaných stran

Prvním krokem identifikace zainteresovaných stran je důkladné seznámení se s hodnocenou intervencí. V tomto ohledu je nutné prostudovat relevantní programové dokumenty a veřejně dostupné informace a uskutečnit sérii setkání s klientem evaluace, zástupci organizace zodpovědné za implementaci a případnými dalšími subjekty jako např. se sponzory intervence, zástupci regulačních orgánů, se členy komunitních organizací či se zástupci cílových skupin. Tyto úvodní kroky by měly vést k porozumění informačním potřebám klienta evaluace, ke zjištění očekávaného designu evaluace a způsobu využití dosažených výsledků.

Proces identifikace zainteresovaných stran není vždy jednoduchý. Bamberger, Rugh a Mambry (2012) doporučují identifikovat odděleně primární a sekundární zainteresované strany. Za primární zainteresované strany lze přitom považovat jednotlivce a skupiny, se kterými je během hodnocení dané intervence evaluátor v přímém kontaktu. Typicky jde o zadavatele, administrátory posuzované intervence či o zástupce cílových skupin. Primární zainteresované strany tedy evaluátor zná, neboť je s nimi v přímém kontaktu, a tak je jejich identifikace poměrně snadná. To však nesnižuje význam tohoto kroku. Naopak, jde o nezbytnou činnost, na níž navazují další etapy analýzy zainteresovaných stran, jakými jsou např. výzkum potřeb, určení zájmů, posouzení síly či ověření vztahů s ostatními subjekty. Naproti tomu sekundárními zainteresovanými stranami jsou subjekty, s nimiž evaluátor není v prvních fázích provádění evaluace v přímém kontaktu, dokonce mnohdy o jejich existenci ani nemusí vědět. Jejich identifikace je proto podstatně náročnější, než v případě primárních zainteresovaných stran, přesto je však významné identifikovat i tyto sekundární zainteresované strany, protože jejich vliv na posuzovanou intervenci může být zásadní. Podobně DFID (2015) rozlišuje zainteresované strany zamýšlené a nezamýšlené. Jako vodítko k identifikaci zainteresovaných stran mohou posloužit následující otázky adaptované z manuálu Německé rozvojové agentury (GTZ, 2007).

• Koho byste oslovili, pokud byste o dané intervenci chtěli získat více informací?
• Kdo určuje pravidla v rámci dané intervence?
• Kdo má specifické znalosti o dané intervenci? Kdo disponuje zdroji nutnými pro realizaci dané intervence?
• Kdo má vybudované vztahy se známými aktéry zahrnutými v dané intervenci?

 

Za účelem identifikace sekundárních zainteresovaných stran Bamberger a kol. (2012) doporučují zjišťovat, kdo má z dané intervence prospěch a kdo z ní naopak žádnou výhodu nemá. Preskill a Jones (2009) se shodují, že při vlastní identifikaci zainteresovaných stran evaluátor obvykle začíná se subjekty, ke kterým má prostřednictvím zadavatele evaluace přístup, případně které osobně zná.

Je patrné, že důkladná a ucelená identifikace zainteresovaných stran vyžaduje systematický a metodický postup. Dále jsou proto uvedeny některé konkrétní metody, jejichž prostřednictvím, a především pak prostřednictvím kombinace těchto metod, evaluátoři mohou zajistit, že všechny významné skupiny zainteresovaných stran budou identifikovány (úplnost), a že tento proces bude kontrolovatelný a přezkoumatelný (věrohodnost).

4.1 Nesystematické přístupy

Metody uvedené v této části skýtají významnou výhodu v relativní nenáročnosti jejich provádění. Jedná se o metody, které jsou „po ruce“ a nevyžadují rozsáhlou přípravu a obvykle jsou časově nenáročné. Jejich využitím lze dosáhnout významně lepších výsledků, než pouhým spoléháním na vlastní intuici, nicméně i tak nemusí být výsledkem dokonalý a vyčerpávající přehled všech zainteresovaných stran. Je třeba mít na paměti, že tyto přístupy jsou vhodné zejména pro nalezení klíčových, aktivních a vlivných zainteresovaných stran; naopak marginalizované zainteresované strany či subjekty, jejichž zájmy na posuzované intervenci jsou neuvědomované, mohou při použití těchto metod zůstat v latenci a nemusejí být identifikovány jako zainteresované strany. S cílem získat objektivní a ucelené panorama zainteresovaných stran je proto vhodné tyto metody kombinovat mezi sebou a doplnit je některým ze systematických postupů, jež jsou uvedeny dále.

4.1.1 Brainstorming

Brainstorming je metodou, na jejímž počátku evaluátor nebo úzká skupina jedinců blízkých hodnocené intervenci sestavují seznam subjektů,
které mají zájem na výsledcích prováděné evaluace, nebo kteří jsou výsledky evaluace jakýmkoliv způsobem dotčeny. Bryson a kol. (2011) uvádí, že se typicky jedná o metodu prováděnou „v zadní místnosti“ (backroom method), kdy se neprovádí ani terénní šetření, ani konzultace s dalšími aktéry mimo evaluační tým, popř. pracovní skupinu. Z toho důvodu ji lze považovat za incepční metodu, která vyžaduje doplnění o další metody, které by mohly přinést potřebné informace a data. Brainstorming tak velmi často představuje předstupeň k některé z obvyklých metod sběru dat používaných ve společenskovědním výzkumu (tj. hloubkovým rozhovorům, focus groups, rešerši dokumentů či rozhovorům s klíčovými informanty).

4.1.2 Klíčoví informanti

Šetření klíčových informantů (key informants) představuje jeden z nejvíce dostupných a flexibilních způsobů, jak získat informace pro identifikaci zainteresovaných stran. Klíčoví informanti jsou osoby, jejichž osobní či profesionální pozice je staví do role znalců povahy a rozsahu posuzované intervence nebo společenského problému (Rossi a kol., 2004). Pro evaluaci mohou představovat zdroj užitečných informací o charakteristikách zainteresovaných stran i o posuzované intervenci jako takové. Návody a manuály pro provádění rozhovorů s klíčovými informanty (např. Kumar, 1989; Carol, Perez a Toy, 2004) nabízejí obsáhlý výčet situací, v nichž je vhodné tyto subjekty využít jako primární zdroj informací. Mezi nejčastější patří:

• snaha získat informace o naléhavém problému od omezeného počtu dobře informovaných odborníků;
• snaha pochopit motivaci, postoje a přesvědčení o konkrétním problému, které panují mezi dotčenými obyvateli;
• potřeba získat informace od lidí s různými názory a formulovat hloubkové a explorativní otázky (sondovat daný problém a jeho povahu);
• potřeba diskutovat citlivá témata a získat upřímné odpovědi respondentů nebo podrobně popsaný pohled na dané téma;
• snaha poskytnout návrhy a doporučit další postup;
• potřeba provést předběžnou studii či navrhnout komplexní kvantitativní studii.

Informace od těchto aktérů je nutné považovat za subjektivní pohled, který reprezentuje určitou konkrétní perspektivu. Jak uzavírá Rossi a kol. (2004), informace od klíčových informantů jsou lepší než žádné informace. Evaluátoři se tak mohou uchýlit k této metodě, když žádný jiný způsob získání informací není dostupný, nebo pokud jde o doplňkovou metodu. Klíčoví informanti mohou zároveň být zdrojem kontaktů, které je možné využít např. v rámci snowballu.

4.1.3 Snowball

Snowball identifikuje potencionální zainteresované strany v několika vlnách. Evaluátor nejprve osloví několik klíčových osob, o nichž předpokládá, že jsou zainteresovanými stranami, disponují znalostmi a/nebo zkušenostmi s danou intervencí, a zároveň mají kontakty na další podobné aktéry (resp. subjekty, které by mohly být posuzovanou intervencí či prováděnou evaluací jakkoliv dotčeny). Evaluátor postupně kontaktuje další osoby, na něž ho původní informanti odkáží, a tímto způsobem rozšiřuje vzorek subjektů („nabaluje a zvětšuje sněhovou kouli“), jež později může označit za zainteresované strany. Standardními otázkami, které si kladou evaluátoři při provádění této techniky je: „Kdo další je intervencí ovlivněn? Na koho dalšího má tato intervence nějaký dopad?“.

Snowball má potenciál rozšířit počet zainteresovaných stran, resp. jejich zástupců, daleko nad rámec, který by byl evaluátor sám schopen intuitivně vymezit. Jak již bylo uvedeno výše, kritickým prvkem této metody je výběr první vlny kontaktů; pokud by se evaluátor spolehl pouze na kontakty poskytnuté zadavatelem evaluace, mohla by identifikace zainteresovaných stran skončit s výčtem subjektů výrazně zaujatých ve prospěch (nebo neprospěch) evaluované intervence. Řetězec kontaktů se zpočátku rozšiřuje, nicméně s přibývajícím množstvím kontaktů roste pravděpodobnost, že některé konkrétní subjekty budou zmiňovány opakovaně. Právě těm by evaluátoři měli věnovat zvýšenou pozornost (Patton, 1990).

4.1.4 Sebe-určení zainteresovaných stran

V neposlední řadě může být identifikace zainteresovaných stran provedena pomocí metody sebe-určení (self-identification), kdy se lidé či skupiny sami přihlásí evaluátorovi s proklamovaným zájmem na dané intervenci či na výsledcích její evaluace. V takové situaci je úkolem evaluátora zkoumat motivaci těchto aktérů k jejich kroku a vyhodnotit oprávněnost zahrnutí těchto subjektů mezi zainteresované strany. Motivace zainteresovaných stran k sebe-určení může ovlivňovat i jejich angažovanost a stupeň participace na prováděné evaluaci, proto by evaluátor měl vyhodnotit a patřičným způsobem korigovat váhu, kterou takovýmto zainteresovaných stranám přisoudí.

4.2 Systematické přístupy

Systematické přístupy jsou založeny na holistickém pojetí kontextu hodnoceného programu. Evaluátor se zaměřuje na celé panorama aktivit a aktérů, kteří jsou do posuzované intervence zahrnuti a ovlivňují ho
nebo jsou ovlivňovány jeho existencí či jeho konkrétními aktivitami. Systematicky založená identifikace zainteresovaných stran nezačíná oproti postupům popsaným v předchozí části od konkrétních aktérů, ale postupuje dle jednotlivých problémových (tematických) okruhů či aktivit. Evaluátor tak začíná plošným výzkumem, kdy do šetření zahrne celou populaci potencionálních zainteresovaných stran a postupným prohlubováním znalostí o jejich zájmech, pozicích a rolích vůči posuzované intervenci i evaluaci samotné může sestavovat seznam jednotlivých zainteresovaných stran. Jednotlivé subjekty mohou být identifikovány v zásadě trojím způsobem, a to na základě kontextu intervence, s využitím analýzy procesů intervenčního programu a pomocí mapování zainteresovaných stan.

4.2.1 Kontextově odvozená identifikace zainteresovaných stran

Identifikace zainteresovaných stran v tomto případě vychází z popisu kontextu dané intervence. Konkrétní subjekty jsou rekrutovány ze skupin, jež tvoří fyzické či sociální okolí dané intervence. Příkladem je evaluace projektu na podporu ekologičtějšího zemědělství v chráněné přírodní oblasti, kdy evaluátor kromě tradičních zainteresovaných stran spjatých s daným projektem (účastníci, sponzoři a administrátoři) zahrnul
mezi zainteresované strany také místní obyvatele, sousední vesnice, zástupce ochránců této oblasti i zástupců místních samospráv. V mnoha případech lze pro identifikaci zainteresovaných stran použít také techniku PESTEL definující politické, ekonomické, sociální, technologické, environmentální a legislativní prostředí dané intervence.

4.2.2 Procesně definovaná identifikace zainteresovaných stran

V tomto případě jsou jednotlivé zainteresované strany identifikovány na základě jednotlivých procesů, které jsou v rámci realizace posuzované intervence prováděny. Z korektně popsaných procesů lze totiž kromě vstupů, výstupů a jednotlivých kroků odvodit také konkrétní subjekty, jež jsou v jednotlivých procesech zaangažovány. Identifikaci zainteresovaných stran v případě evaluace intervenčních programů tak může usnadnit nejen důkladná procesní analýza a komplexní mapa procesů, ale také pečlivě zpracovaný logický model, popř. model změny.

4.2.3 Mapování zainteresovaných stran

Mapování zainteresovaných stran (stakeholder mapping) je založené na identifikaci velkého množství subjektů, které jsou vzájemně propojeni různými formami vztahů (Rezazade Mehrizi, Ghasemzadeh a Molas-Gallart, 2009). Tyto vztahy se odvíjejí od vzájemné provázanosti, v níž každá ze zainteresovaných stran plní svůj dílčí úkol s cílem společně dosáhnout hlavního cíle, který je zároveň cílem hodnocené intervence. Silnou stránkou tohoto přístupu je, že propojováním cílů intervence s aktéry a aktivitami, dochází k verifikaci vnitřní konzistence posuzované intervence. Právě kvůli systematickému spojování klíčových prvků intervence a hodnocení její vnitřní logiky je toto pojetí mapování zainteresovaných stran vhodnou technikou pro ex-post i ex-ante evaluace. Techniku lze aplikovat na různé typy intervencí, včetně veřejných politik na národní, regionální nebo organizační úrovni.

Postup mapování zainteresovaných stran navržený Rezazade Mehrizim a kol. (2009) se skládá z šesti kroků a využívá jako analytický nástroj matici (Tabulka 3) spojující cíle intervence (sloupce) s příslušnými zainteresovanými stranami (řádky). V samotné matici jsou zainteresované strany propojeny s danými cíli pomocí akčních plánů. Matice pak slouží
jako vodítko pro provedení analýzy.

 

První krok sestává z identifikace cílů intervence. Autoři v citovaném příkladu provedli analýzu oficiální zprávy vydané příslušným Ministerstvem coby zaštiťujícím orgánem, která shrnovala relevantní politiky v hodnocené oblasti. Autoři následně identifikované cíle zapsali do prvního sloupce tabulky a identifikovali redundantní a protichůdné cíle. Zjištěné překryvy či kontradikce cílů by měly být v tomto kroku eliminovány. Například může nastat situace, kdy dosažení cílů A a B nezbytně povede k dosažení cíle C. Evaluátor by v takovém případě měl přebytečný cíl eliminovat. O tom, zda je vhodné eliminovat A a B a ponechat C
nebo naopak, rozhoduje míra specifičnosti nutná k určení zainteresované strany, která je zodpovědná za naplnění tohoto cíle (viz dále). Autoři nicméně upozorňují, že v komplexním a heterogenním prostředí může evaluátor objevit inkonzistenci (či dokonce protichůdnost) cílů danou rozličnými zájmy různých zainteresovaných stran. V takovém případě není možné redundantní či protichůdné cíle eliminovat a při evaluaci je třeba věnovat zvláštní pozornost korespondujícím dynamikám mezi zainteresovanými stranami.

Ve druhém kroku dochází k identifikaci klíčových zainteresovaných stran. Tento krok lze provést např. na základě obsahové analýzy dokumentů, nicméně jak sami autoři přiznávají, v některých případech mohou být cíle intervence a nástroje k jejich dosažení nejasné a vyjádřené pouze v implicitních předpokladech. Evaluátor pak musí zjistit doplňující informace pomocí rozhovorů s klíčovými účastníky nebo s experty dané problematiky. Na chybějící zainteresované strany, které nebyly v tomto kroku identifikovány, upozorní analýza provedená ve třetím kroku. Tento krok zahrnuje vedle jejich vyjmenování také detailní popis rolí (např. tvůrci politik, implementátoři, příjemci, evaluátoři), vlivu na konečnou podobu intervence (přímý, nepřímý) a stupeň podpory intervence (propagátoři, narušitelé).

Popis by měl dále reflektovat misi zainteresovaných stran a její soulad s misí hodnocené intervence, schopnosti zainteresovaných stran a jejich dostatečnost z hlediska plnění cílů intervence a zájmy zainteresovaných stran ve vztahu k posuzované intervenci. Evaluátor by se měl v tomto kroku ujistit, že se takto identifikované skupiny zainteresovaných stran nepřekrývají. Jejich výběr by měl být zároveň inkluzivní (tj. měl by zahrnovat všechny podstatné aktéry) a účinný (tj. měl by zahrnovat jen důležité zainteresované strany).

Ve třetím kroku evaluátor identifikuje akční plány, resp. záměrné postupy či promyšlené aktivity, jejichž prostřednictvím zainteresované strany mohou dosáhnout vytyčených cílů. V případě ex-post evaluace evaluátor provede rekonstrukci akčních plánů, které dle intervenční logiky měly vést k zamýšleným cílům. Může nastat situace, kdy úkoly (akční plány) přidělené určitému subjektu a určitému cíli souvisí s dalšími cíli a jinými aktéry. V takovém případě může evaluátor rozdělit stávající cíle na větší počet konkrétních cílů tak, aby byly přidělitelné vždy jen jedné konkrétní zainteresované straně. Alternativně se lze vrátit k prvnímu a druhému kroku a sloučit jednotlivé cíle do obecnějších kategorií tak, aby odpovídaly identifikovaným akčním plánům. Rovněž může nastat situace, kdy některé akční plány nemohou být přiřazeny k žádnému cíli; to je obvykle známkou toho, že některé cíle byly opomenuty a nebyly identifikovány. V neposlední řadě může nastat situace, kdy některé konkrétní akční plány nelze přiřadit žádné zainteresované straně. V takovém případě je nutné vrátit se k druhému kroku a dodatečně identifikovat chybějící zainteresované strany.

 

Vyplněná matice se dále analyzuje ve třech krocích:

Vertikální analýza umožňuje ověřit, zda akční plán uvedený u každého cíle má potenciál daného cíle skutečně dosáhnout, resp. zdali jsou plánované aktivity dostatečné k naplnění cílů. Dále identifikuje potenciálně chybějící či přebytečné akční plány a zaměří se na posouzení, zdali některé akční plány nejsou bariérou dosažení stanovených cílů.

Horizontální analýza má za cíl vyhodnotit míru, ve které akční plány odpovídají misi jednotlivých aktérů, zda nejsou nad rámcem jejich schopností (způsobilosti) a zda dané instituce považují akční plány za koherentní s jejich aktivitami a zájmy. Dle Rezazade Mehriziho a kol. (2009) se nelze v některých případech vyhnout nevhodnému spojení cílů a institucí,
neboť v daných podmínkách např. neexistuje žádná vhodnější organizace, která by mohla k plnění daného cíle přispět.

Závěrečná celostní analýza vychází z předchozích dvou a určuje, které nové zainteresované strany je třeba identifikovat a doplnit a naopak,
které z původně zahrnutých subjektů by měly být vynechány.

Rezazade Mehrizi a kol. (2009) uplatnili výše popsaný proces mapování zainteresovaných stran při hodnocení implementace politiky v oblasti elektronického podnikání (e-commerce) v Íránu. Za hlavní přínos techniky mapování zainteresovaných stran lze považovat skutečnost, že se zabývá vzájemnými vazbami mezi zainteresovanými stranami a kombinuje jak strukturální přístupy (aktéři a jejich vztahy), tak také behaviorální přístupy reflektované v cílech intervencí/politik. Značnou výhodou tohoto přístupu je také jeho rozšiřitelnost, neboť matici je možné snadno rozšířit o další cíle, zainteresované strany i akční plány.

5. Příklady analýzy zainteresovaných stran v evaluační praxi

Chareonwong a Cameron (n.d.) použili v rámci své evaluace veřejné politiky ochrany duševního vlastnictví v Thajsku podrobnou analýzu zainteresovaných stran. Jejich příspěvek sice nespecifikuje konkrétní metodu identifikace zainteresovaných stran, popisuje však způsob zjišťování charakteristik zainteresovaných stran. Autoři studie provedli hloubkové rozhovory se zástupci expertů z řad tvůrců politik, vývojářů, prodejců softwaru a uživatelů, přičemž jako vodítko pro rozhovory použili dotazník, který sestával ze samostatné části věnované vlastnostem zainteresovaných stran.

Studie Rishi a kol. (2008) se zaměřila na analýzu potřeb rurálních obyvatel ve vesnicích, které se nacházejí v těsném sousedství národních parků v Indii. Cílem evaluace bylo poznat a pochopit potřeby těchto zainteresovaných stran a vytvořit přijatelný a efektivní plán ekologického rozvoje chráněných přírodních oblastí. Studie potvrdila, že naplnění základních potřeb vesničanů bylo obecně na velmi nízké úrovni, což společně s nízkou informovaností mělo za následek velmi slabou motivaci místních obyvatel zapojit se do ochrany vytyčených území.

Evaluační tým RAND pověřený evaluací NIHR Leadership programu ve Velké Británii (Marjanovic, Cochrane, Manville, Harte, Chataway a Jones, 2015) zvolil přístup založený na teorii změny a realistické evaluaci. Zároveň se zaměřil na intenzivní zapojení zainteresovaných stran do evaluačního procesu. Z toho důvodu byla na počátku evaluace věnována zvýšená pozornost identifikaci zainteresovaných stran a alokaci zdrojů, což se odrazilo v použití několikastupňového procesu tvorby logického modelu. V prvním kole evaluátoři uspořádali workshop se třemi klíčovými zástupci implementátora programu. Po něm následovaly dodatečné konzultace s dalšími zástupci implementující organizace, kteří měli na starosti jednotlivé programové cíle. Tímto způsobem došlo k tvorbě, verifikaci a doladění logického modelu, který následně sloužil jako základ pro workshopy se zástupci tří hlavních zainteresovaných stran – lídrů, školitelů (koučů), ředitelů a manažerů R&D.

6. Závěry

Důkladné analýze zainteresovaných stran je v evaluační praxi stále věnována poměrně nízká pozornost. Tato stať poukázala na konkrétní a relativně nenáročné metody a přístupy, které jsou vhodné pro využití při analýze zainteresovaných stran, a to především při jejich identifikaci. Nesystematické metody, jakými jsou brainstorming, rozhovory s klíčovými informanty a snowball, se vyskytují v evaluacích častěji než systematické a současně platí, že mohou být snáze proveditelné. Proto mohou tyto metody sloužit jako prvotní krok při robustněji pojaté analýze zainteresovaných stran, jejímž prostřednictvím evaluátor získá vhled do prostředí posuzované intervence, nebo při identifikaci primárních zainteresovaných stran (Bamberger a kol. 2012). Na druhé straně však mají vysoký potenciál subjektivity a neúplnosti při identifikaci zainteresovaných stran. Pokud identifikace zainteresovaných stran bude založena pouze na těchto metodách, může dojít vlivem selection bias ke zkreslení informací o posuzované intervenci. Je proto vhodné zvolenou nesystematickou metodu kombinovat s některým ze systematických postupů.

Bez ohledu na tyto postupy je však důležité mít na paměti, že spektrum zainteresovaných stran není v žádném případě stabilní a naopak se neustále proměňuje v závislosti na změnách zájmů, externích podmínkách a fázích evaluačního procesu (GTZ, 2007). Proto je v závislosti na době trvání intervence možné, že bude nutné mapu zainteresovaných stran během evaluace (i několikrát) aktualizovat.

Cílem této stati rovněž bylo poukázat důležitost systematického a neintuitivního provádění identifikace zainteresovaných stran, která by umožňovala jejich následnou analýzu.

Identifikace zainteresovaných stran a následná analýza jejich zájmů je nezbytným nástrojem k tomu, aby evaluace mohly zahrnovat různé perspektivy hodnocení a vstupy od všech relevantních zainteresovaných stran. Ucelená identifikace zainteresovaných stran napomáhá zároveň k tomu, aby klíčové poznatky a závěry evaluací nebyly zkresleny různou intenzitou prosazování zájmů jednotlivými zainteresovanými stranami. Korektně provedená identifikace zainteresovaných stran může v neposlední řadě pomoci zaměřit postup evaluačních prací tak, aby nedocházelo ke zbytečným konzultacím a plýtvání zdrojů.

V evaluační praxi je často potřeba nejprve sjednotit používanou terminologii a používané významy tak, aby všichni zúčastnění pracovali se shodnými termíny a aby pro každou zainteresovanou stranu měly identické pojmy stejný význam. Aplikace některé z technik identifikace zainteresovaných stran tak může sloužit také jako proces, v němž k tomuto sjednocování pojmů a vytváření společného jazyka dochází.

---

 

Seznam použitých zdrojů

[1]        BAMBERGER, RUGH a MARBY. (2012). Real World Evaluation: Working Under Budget, Time, Data, and Political Constraints (2nd ed.). Thousand Oaks, CA: Sage. 666 pages.

[2]        BROUWER, H., A., GROOT KORMELINCK and S. van VUGT. (2012). Tools for analysing power in multi-stakeholder processes – a menu. Toolbox developed for the Thematic Learning Programme ‘Strategically dealing with power dynamics in multi-stakeholder processes’. Wageningen UR/Centre for Development Innovation. Dostupné z: http://www.
mspguide.org/sites/default/files/resource/menu_of_tools_for_tlp_power_in_msps_v3.pdf 

[3]        BRYSON, J. M., PATTON, M. Q. a BOWMAN, R. A. (2011). Working with evaluation stakeholders: A rationale, step-wise approach and toolkit. Evaluation and Program Planning 34, 1–12. doi:10.1016/j.evalprogplan
.2010.07.001

[4]        CANADIAN EVALUATION SOCIETY. (2014). Program Evaluation Standards. Dostupné z: https://www.evaluationcanada.ca/program-evaluation-standards

[5]        CAROLL, A. M., PEREZ, M. a TOY, P. (2004). Performing a Community Assessment Curriculum. UCLA Health Policy Research. Dostupné z: http://healthpolicy.ucla.edu/programs/health-data/trainings/documents
/tw_cba23.pdf

[6]        CHAREONWONG, U. a CAMERON, H. (n.d.). Policy Evaluation Using Stakeholder Analysis and Multi-Attribute Utility Technology Methods : A Case Study of Intellectual Property Protection Policy in Thailand. IC2 Institute, University of Texas. Dostupné z: http://www.ic2.utexas.edu/ictpi
/mirror/curitiba2000/papers/S23P05.PDF

[7]        ČESKÁ EVALUAČNÍ SPOLEČNOST (ČES). (2013). Formální standardy provádění evaluací. Finální verze schválená Kongresem České evaluační společnosti. Dostupné z: http://www.czecheval.cz/standardy_kodex/
ces_formalni_standardy_evaluaci_short_5__.pdf

[8]        DFID. (2015). Beneficiary Feedback in Evaluation. Prepared by Leslie Grooves for DFID. Dostupné z: http://r4d.dfid.gov.uk/pdf/outputs/
Evaluation/Beneficiary_Feedback_in_Evaluation.pdf

[9]        EVROPSKÁ KOMISE. (2014). Guidance Document on Monitoring and Evaluation. European Regional Development Fund and Cohesion Fund. Concepts and Recommendations. Dostupné z: http://ec.europa.eu/regional_
policy/sources/docoffic/2014/working/wd_2014_en.pdf

[10]      FITZPATRICK, J. L., SANDERS, J. R. a WORTHEN, B. R. (2004). Setting boundaries and Analyzing the Evaluation Context. In Program Evaluation. Alternative approaches and Practical Guidelines (pp. 199-231). 3rd Edition. Boston, MA: Pearson Education.

[11]      GROOVES, L. a GUIJT, I. (2015, June). Participation not for you? Four reflections that might just change your mind. Better Evaluation series on participation in evaluation. Dostupné z: http://betterevaluation.org/
blog/four_reflections_on_participation_in_evaluation

[12]      GTZ. (2007). Multi-stakeholder management: Tools for Stakeholder Analysis: 10 building blocks for designing participatory systems of cooperation. From the series: Promoting participatory development in German development cooperation.

[13]      GUBA, E. G. a LINCOLN, Y. S. (1981). Effective Evaluation. San Francisco, CA: Jossey-Bass Publishers

[14]      GUBA E. G., LINCOLN Y. S. (1989). Fourth Generation Evaluation. London: SAGE Publishing.

[15]      KENNON, N., HOWDEN. P. a HARTLEY, M. (2009). Who really matters? A stakeholder analysis tool. Extension Farming Systems Journal 5(2) – Research Forum. Dostupné z: https://www.csu.edu.au/__data/assets
/pdf_file/0018/109602/EFS_Journal_vol_5_no_2_02_Kennon_et_al.pdf

[16]      KUMAR, K. (1989). Conducting Key Informant Interviews in Developing Countries. A.I.D. Program Design and Evaluation Methodology Report No. 13. Dostupné z: https://books.google.cz/books/about/Conducting_
Key_Informant_Interviews_in_D.html?id=_PeHGQAACAAJ&redir_esc=y

[17]      MARJANOVIC, S., COCHRANE, G., MANVILLE, C., HARTE, E., CHATAWAY, J., a JONES, M. M. (2015). Leadership as a health research policy intervention. An evaluation of the NIHR Leadership programme (Phase 2). RAND Corporation, Santa Monica, Calif., and Cambridge, UK.

[18]      MARKIEWICZ, A. (2005). A balancing act: Resolving multiple stakeholder interests in program evaluation. Evaluation Journal of Australasia, 4(new series, 1&2), 13-21.

[19]      MAYERS, J. 2005. Stakeholder power analysis. Power tools series. International Institute for Environment and Development, London, UK.

[20]      OECD. (2010). Quality Standards for Development Evaluation. DAC Guidelines and Reference Series. Dostupné z http://www.oecd.org/dac/
evaluation/qualitystandards.pdf

[21]      OLANDER, S. & LANDIN, A. (2005). Evaluation of stakeholder influence in the implementation of construction projects. International Journal of Project Management 23, 321-328.

[22]      PATTON, M. Q. (1990). Qualitative evaluation and research methods. (2. vydání). Beverly Hills, CA: Sage.

[23]      PRESKILL, H. & JONES, N. (2009). A Practical Guide for Engaging Stakeholders in Developing Evaluation Questions. Robert Wood Johnson Foundation Evaluation Series.

[24]      REMR, J. (2013). Srovnání vybraných přístupů k realizaci evaluací. Evaluační teorie a praxe 1(1): 29–52

[25]      RENARD, Y. (2004). Guidelines for Stakeholder Identification and Analysis: A Manual for Caribbean Natural Resource Managers and Planners. CANARI Guidelines Series 5. Caribbean Natural Resources Institute. Dostupné z: http://www.alnap.org/pool/files/guidelines5.pdf

[26]      REVIT Consortium. (2007). Working towards more effective and sustainable brownfield revitalisation policies. Stakeholder engagement – a toolkit. Dostupné z: http://www.revit-nweurope.org/ventura/engine.php?Cmd=getpicture
&P_site=620&P_self=1823

[27]      REZAZADE MEHRIZI, M.H., GHASEMZADEH, F. a MOLAS-GALLART, J. (2009). Stakeholder Mapping as an Assessment Framework for Policy Implementation. Evaluation 15, 427. DOI: 10.1177/
1356389009341731

[28]      RISHI, P. MOGHE, S. a UPADHYAY, B. K. (2008). Analysis of hierarchy of needs and motivational strategies for eco-development planning in two national parks of India. Resources, Conservation and Recycling 52, 707–718.

[29]      ROSSI, P. H., LIPSEY, M. W. a FREEMAN, H. E. (2004). Evaluation. A Systematic Approach. 7th Edition. Thousand Oaks, CA: Sage Publications.

[30]      SANDERS, J. R. (1994). The Program Evaluation Standards: How to Assess Evaluations of Educational Programs. (2nd Ed.). The Joint Committee on Standards for Educational Evaluation.

[31]      SCHMEER, K. (1999). Guidelines for Conducting a Stakeholder Analysis. Bethesda, MD: Partnerships for Health Reform, Abt Associates Inc. Dostupné z: http://www.who.int/management/partnerships/overall
/GuidelinesConductingStakeholderAnalysis.pdf

[32]      STAKE R. E. (1975). Program Evaluation, Particularly Responsive Evaluation. Kalamazoo: Western Michigan University Evaluation Center.

[33]      YARBROUGH, D. B., SHULA, L. M., HOPSON, R. K., CARUTHERS, F. A. (2010). The Program Evaluation Standards: A guide for evaluators and evaluation users (3rd. Ed). Thousand Oaks, CA: Corwin Press.

[1] Joint Committee on Standards for Educational Evaluation.

[2] Proti tradičně užívanému termínu publika evaluace vystoupil například Alkin (2011),
který argumentuje, že tento termín přisuzuje zainteresovaným stranám pasivní roli a jedná se tedy o neadekvátní pojetí. Sám prosazuje použití termínu stakeholders, kde stake (zájem) odráží aktivní zájem těchto jedinců/skupin na hodnoceném programu.