Zkušenosti s kontrafaktuální dopadovou evaluací v České republice
Oto Potluka, Jan Brůha
Experience with Counterfactual Impact Evaluation in the Czech Republic
Abstrakt
Sílící zájem o poznání toho, jaké dopady má realizace politiky soudržnosti, vede k uplatňování rigorózních evaluačních metod. Zkušeností s uplatněním kontrafaktuálních dopadových evaluací v politice soudržnosti není mnoho. Proto si tato studie klade za cíl sdílet zkušenosti s procesem realizace kontrafaktuální dopadové evaluace v České republice. Zejména jde o nejproblematičtější části tohoto typu evaluace a to konkrétně sběru dat a jejich zpracování a také úskalí používaných metod.
Pro tyto účely je využita kontrafaktuální dopadová evaluace „Pilotní counterfactual impact evaluation OP LZZ, oblast podpory 1.1“, kde již tento typ evaluace probíhá. Konkrétně jde o vyhodnocení dopadů podpor vzdělávání ve firmách financovaných z Evropského sociálního fondu (Operační program Lidské zdroje a zaměstnanost).
Zkušenosti a výsledky této studie je pak možné využít při přípravě budoucích kontrafaktuálních dopadových evaluací a to nejen u podpor Evropského sociálního fondu, ale i Evropského fondu regionálního rozvoje v období 2014 – 2020. Samotná realizace kontrafaktuálních dopadových evaluací může vést ke zvýšení efektivity intervencí strukturálních fondů prostřednictvím cílení výzev k předkládání žádostí o podporu.
Abstract
The growing interest in studying impacts of implementation of the EU Cohesion Policy resulted in application of rigorous evaluation methods. This study aims at sharing experience with the process of implementation of a counterfactual impact evaluation in the Czech Republic as there is not much experience with the application of such evaluations in the EU Cohesion policy. In particular, the paper concentrates on the most problematic parts of this type of evaluation that are mainly data collection and data processing and pitfalls of the used methods.
For this purpose the paper uses counterfactual Impact evaluation "Pilot counterfactual impact evaluation OP HRE Area 1.1" as a case to show experience. Specifically, the evaluation of the impacts of the European Social Fund trainings in companies as a case study is employed as a case study.
Experience and results of this study can be then used in the preparation of future impact evaluations not only for the European Social Fund, but also for the European Regional Development Fund in 2014–2020. The implementation of counterfactual impact evaluations may result in increased effectiveness of the Structural Funds interventions through targeted calls for proposals.
Klíčová slova
Kontrafaktuál, dopadová evaluace, regresní nespojitost, instrumentální proměnné, propensity score matching
Key words
Counterfactual, impact evaluation, regression discontinuity design, instrumental variables, propensity score matching
1. Úvod
V posledních několika letech se stále častěji hovoří o kontrafaktuálních dopadových evaluacích intervencí Strukturálních fondů a Fondu soudržnosti. Vývoj došel až k bodu, kdy jsou evaluace dopadů přímo zmiňovány v návrhu legislativy politiky soudržnosti na období 2014 – 2020, konkrétně v článcích 47 a 49 (viz Evropská komise 2012). Tudíž se dá očekávat požadavek ze strany Evropské komise, aby byly zpracovány i další kontrafaktuální dopadové evaluace a to i v České republice.
Cílem tohoto textu je přiblížení procesu realizace kontrafaktuální dopadové evaluace[1] evaluační komunitě, neboť použití těchto metod není zatím zcela běžné (Kváča, Potluka, 2011 či Mouqué, 2011). Znalost zpracování kontrafaktuálních dopadových evaluací je stále nízká, byť se začínají objevovat první studie tohoto druhu. Shrnutí zkušeností a výsledků již realizovaných studií v dalších zemích Evropské unie uvádí ve své studii Mouqué (2012).
Obvyklá situace je taková, že experti se znalostí ekonometrických metod neznají problematiku politiky soudržnosti a experti se znalostí této politiky se neorientují v ekonometrických metodách.
V České republice byly metody kontrafaktuální dopadové evaluace použity například ve studii o dopadech aktivní politiky zaměstnanosti na zaměstnanost (Hora a Sirovátka 2012), ale hlavně jde o studii o dopadech podpor vzdělávání financovaného z Evropského sociálního fondu na zaměstnanost, tržby a zisk firem (Potluka et al. 2013a či Potluka et al 2013b). Druhá jmenovaná evaluace posloužila jako podklad pro přípravu této studie. Konkrétně bude využit příklad dopadů podpor Evropského sociálního fondu – Operačního programu Lidské zdroje a zaměstnanost (ESF – OP LZZ) na zaměstnanost ve firmách. Výběr tématu zaměřeného na zaměstnanost činíme i s ohledem na to, že mezi obvyklé cíle hospodářské politiky patří boj s nezaměstnaností a tudíž pro čtenáře budou souvislosti snáze představitelné.
Následující text je členěn tak, aby pokrýval hlavní prvky zpracování kontrafaktuální dopadové evaluace. Konkrétně tedy následuje kapitola věnovaná metodologii, následovaná kapitolou o datech. Závěr pak shrnuje hlavní myšlenky této studie.
2. Použité metody
2.1. Možná úskalí metod kontrafaktuální dopadové evaluace
S ekonometrickými přístupy hodnocení dopadů veřejných politik pracují vědci a evaluátoři již několik desítek let. Nicméně jde o použití zejména v USA, zatímco v Evropě použití tak časté není. Ve Strukturálních fondech se o hodnocení dopadů mluví teprve několik let.
Zjištění dopadu intervence by bylo možné pomocí srovnání skutečné situace, kdy byla firma podpořena, se situací, kdy podpořena nebyla. V realitě však můžeme získat informaci pouze o jednom z těchto stavů a tudíž je takové srovnání neproveditelné.
Základním principem kontrafaktuálních metod je tedy nahrazení situace, která nenastala, situací, která je jí velice podobná. Ve své podstatě jde o využití velkého množství případů jednak ve zkoumané skupině (podpořené firmy) a kontrolní skupině (nepodpořené firmy). V takovém případě se průměry za obě skupiny limitně blíží k idealizovanému stavu, kdy můžeme říci, že průměr počtu zaměstnanců ve skupině firem s podporou nám říká, k jaké změně došlo v průměrné podpořené firmě. Obdobně pak průměrný počet zaměstnanců ve skupině nepodpořených firem ukazuje, k jaké změně došlo v průměrné nepodpořené firmě. Z pohledu statistiky jde o zákon velkých čísel, kdy se zvyšuje pravděpodobnost, že počet zaměstnanců v náhodně vybrané firmě se blíží průměru za celou skupinu.
Pokud nejsou zkoumané firmy podobné, co se týče jejich pozorovaných a nepozorovaných vlastností, pak pouhé srovnání průměrů je zavádějící přístup k hodnocení dopadu. Takový odhad dopadu je vychýlený,
neboť jde o kombinaci hned tří různých typů efektů:
- Jednak jde o skutečný hledaný dopad na zaměstnanost;
- Dále jde o vychýlení kvůli firmám s podporou, které by měly jinou zaměstnanost oproti firmám v kontrolní skupině (nepodpořené firmy), i kdyby žádnou podporu nedostaly. V realistické situaci, kdy předpokládáme, že na podporu dosáhnou spíše firmy s lepším managementem, tento efekt nadhodnocuje výsledný dopad;
- Posledním efektem je situace nepodpořených firem, které mohou být systematicky odlišné od podpořených firem.
Podobnost obou skupin je možné dosáhnout tím, že podpořené firmy jsou vybírány náhodně[2]. Nicméně toto není u hospodářské politiky v EU nejen zvykem, ale randomizace není používána vůbec. Tudíž v takovém případě je používáno tzv. kvazi-experimentálních přístupů.
2.2. Vlastní aplikace metod
V této části jde o obecnější vysvětlení, jak byla která statistická metoda použita pro který zkoumaný případ. Snahou je předejít nedorozuměním při nevhodném použití metod kontrafaktuální dopadové evaluace. Jde zejména o upozornění na úskalí spojená s použitím metod a předejití jejich případnému kontraproduktivnímu použití.
Samotné výsledky vypočtených dopadů zde neuvádíme, ale je možné nalézt v Potluka et al. (2013).
Intuitivní popis jednotlivých metod je buď v dokumentu Evalsed (Evropská komise 2008), nebo v Gertler et al (2011).
Regresní nespojitost
Tato metoda má poměrně vysokou interní validitu kolem hranice dělící podpořené a nepodpořené firmy. Se vzdáleností od této hranice však tato validita klesá. Tato metoda má tudíž malou externí validitu a zobecňování jejích výsledků je obtížné.
Při realizaci kontrafaktuální dopadové evaluace v OP LZZ byla využita hranice 65 bodů v hodnocení projektových žádostí firem[3]. Pokud žádost od hodnotitele obdržela méně než 65 bodů, byla zamítnuta. Počet bodů žádosti vstupující do analýz je spočten jako průměr dvou platných hodnocení[4]. Intuitivní vysvětlení spočívá v tom, že firmy, nacházející se těsně pod hranicí a firmy těsně nad hranicí 65 bodů jsou si podobné a je tedy validní provést jejich srovnání. To vysvětluje také, proč je obtížné generalizovat výsledky i pro firmy, které od této hranice leží dále.
Klíčovým předpokladem je to, aby se v okolí této hranice skokově neměnila i jiná proměnná než je možnost získání podpory. Pokud by tomu tak bylo, pak by bylo nemožné odlišit, zda změna zkoumané proměnné (zaměstnanosti) byla způsobena podporou nebo právě touto jinou proměnnou.
Pro jiné typy kontrafaktuálních dopadových evaluací je možné jako hranici využít například velikost firem, které jsou ještě způsobilé pro podporu. Například ve stávajícím programovacím období v Operačním programu Podnikání a inovace ve výzvě Inovace – Inovativní projekty byla ve výzvě č. I omezena možnost podání žádostí o podporu na malé a střední podniky. Tudíž počet zaměstnanců 250 je hranicí, kterou je možné použít jako dělící hranici pro metodu regresní diskontinuity.
Evaluační tým testoval splnění předpokladů této metody. Primárně jde o to, zda se v okolí hranice 65 bodů (kromě pravděpodobnosti získání podpory) skokově nemění jiná exogenní proměnná. Tento předpoklad evaluační tým testoval na velikosti firem, právních formách, OKEČ a u veřejné podpory (z dat ČSÚ zahrnující i podpory mimo OP LZZ). Pokud firmy pod hranicí 65 bodů získají jinou podporu z jiných veřejných zdrojů, pak to může znehodnotit aplikovatelnost metody regresní diskontinuity. Evaluační tým proto statisticky testoval, zda se tyto dvě skupiny firem v tomto směru liší. Výsledky ukazují, že je možné použít metodu regresní nespojitosti.
Poté již evaluační tým aplikoval parametrickou i neparametrickou regresi.
Instrumentální proměnné
Tato metoda vyžaduje přítomnost instrumentální proměnné, což je proměnná, která musí splňovat dvě vlastnosti:
1. musí ovlivňovat pravděpodobnost, že daná firma získá podporu,
2. nesmí souviset se zkoumanou proměnnou jinak, než přes získání podpory.
V případě z uváděného evaluačního projektu byla jako instrument použita proměnná vyjadřující to, jak byl který hodnotitel přísný, nebo naopak mírný vůči projektovým žádostem. Osoby hodnotitelů však nesouvisí s výsledkem podpory na zaměstnanost, což splňuje podmínku 2 výše.
Pokud by se hodnotitelé mezi sebou nelišili, pak by tato metoda nebyla použitelná.
Evaluační tým zvolil zpracování metodou dvoustupňových nejmenších čtverců. Ve své podstatě jde o dvě rovnice, z nichž jedna vysvětluje pravděpodobnost získání podpory na základě charakteristik hodnotitelů a případně též charakteristik firem. Druhá rovnice vysvětluje zkoumanou proměnnou – zaměstnanost - pomocí toho, zda firma získala podporu a také pomocí ostatních charakteristik firmy (OKEČ, kraj).
Jako instrument lze využít i jiné proměnné. Například Criscuolo et al. (2009) používají rozdíly ve způsobilosti k podpoře mezi podporovanými regiony při hodnocení průmyslové politiky a podpor firmám.
Rozdíly v rozdílech (Difference – in difference) a párování (propensity score matching)
Při aplikaci těchto metod musel evaluační tým nejprve dosáhnout toho, aby byly zkoumaná i kontrolní skupina shodné. Proto bylo nejprve aplikováno párování pomocí propensity skóre. Ve své podstatě jde o to, že se na základě charakteristik firem spočítá pomocí probit regrese pravděpodobnost toho, že firma obdrží podporu (použité proměnné pro výpočet jsou uvedeny dále v kapitole věnované datům).
Výběr pozorování s podobnou hodnotou propensity skóre lze učinit více způsoby. Dva nejčastěji používané jsou:
- metoda nejbližšího souseda je založena na tom, že se každá podpořená firma srovná s nežadatelem, který má nejbližší hodnotu propensity skóre. Výsledek odhadu je pak průměr těchto srovnání za všechny podpořené firmy.
- Kernelová metoda, kdy se každá podpořená firma srovnává se všemi nežadateli, nicméně různým nežadatelům jsou připsány různé váhy a to v závislosti na rozdílu propensity skóre (čím menší rozdíl, tím větší váha).
Poté již byla aplikována opět parametrická a neparametrická regrese pro učení odhadů dopadů podpor ESF na zaměstnanost ve firmách.
3. Data
3.1. Výběr dat
Výběr proměnných, které evaluační tým používal, vycházel jednak ze samotného zadání této evaluace, ale také z předpokládaných příčinných kauzálních vazeb zkoumaného problému. Na základě theory-based přístupu (White 2009) lze vytipovat, které proměnné mohou hrát významnou roli při ovlivňování zaměstnanosti ve firmách. Takové proměnné je pak vhodné do testovaných modelů zařadit.
Množství proměnných použitých v analýze lze dokumentovat na příkladu metody párování (propensity score matching). U této metody je například zapotřebí hned několika pozorovatelných charakteristik firem,
podle kterých se k sobě páruje k podpořené firmě její „dvojče“ ze souboru nepodpořených firem. V případě této evaluace jsme využili následujících proměnných:
- Velikost firmy - formou počtu zaměstnanců – přepočtené úvazky;
- Právní forma - formou dummy (nabývá hodnot 0/1) proměnné za jednotlivé typy, přičemž v souboru byly víceméně pouze akciové společnosti a společnosti s ručením omezeným;
- OKEČ (formou dummy proměnné za jednotlivé OKEČ);
- Region působnosti (formou dummy proměnné za jednotlivé regiony na úrovni krajů – pro každý kraj jde o jednu proměnnou);
- Interakce velikosti firmy s výše uvedenými charakteristikami (násobek velikosti firmy s výše uvedenými charakteristikami);
- Změna dlouhodobého majetku firmy (vypočteno jako procentní rozdíl mezi lety 2010 a 2008).
- Podpora z jiných veřejných zdrojů (veřejná podpora dle dat ČSÚ a podpora OP LZZ, šlo zde tedy o součet dvou proměnných)
Například dlouhodobý majetek firmy je významný v této evaluaci i z jiného pohledu. Pokud došlo k výraznému nárůstu dlouhodobého majetku a zároveň i k nárůstu zaměstnanosti, lze usuzovat, že firma investovala do nových technologií, či zprovoznila nový výrobní závod. V takovém případě je školení financované z ESF doplňkem samotné investice. Příčinou nárůstu zaměstnanosti je ona investice, nikoli to, že se zvýší znalosti a dovednosti pracovníků firmy díky podpoře z ESF.
3.2. Dostupnost a použitelnost dat
Kvalita a množství dat jsou kritickými faktory pro řešení kontrafaktuální dopadové evaluace. Vlastní sběr dat o počtu zaměstnanců a dalších charakteristikách firem nebyl při realizaci této evaluace myslitelný. Šlo by o časově a finančně příliš náročnou aktivitu, která by šla výrazně za rámec zpracovávané studie.
Pro zpracování evaluace proto byla využita data, která již byla sebrána za jiným účelem. Tento přístup umožnil použít data, která nebyla zkreslena tím, že by respondenti tušili použití dat při evaluaci a nadhodnocovali by některé údaje[5]. Na druhou stranu se objevovaly různé právní a technické překážky, které práci s daty komplikovaly.
Při řešení kontrafaktuální dopadové evaluace využil evaluační tým data z několika různých zdrojů. Konkrétně šlo o data z:
- Databáze Albertina;
- Databáze Magnus;
- Českého statistického úřadu;
- monitorovacího systému Operačního programu Lidské zdroje a zaměstnanost (OP LZZ) Monit 7+;
- Databáze Centrální evidence dotací ze státního rozpočtu (CEDR III);
- dotazníkových šetření mezi firmami.
Takto široká paleta datových zdrojů s sebou přinášela řadu výhod, ale i problémů.
Právní omezení
Mezi výše uvedené právní a technické problémy spojené se sběrem dat patří primárně neochota majitelů dat poskytovat je výzkumným týmům. Důvodem je to, že jde o mikrodata. Nakládání s nimi v neanonymizované podobě je omezené pouze na některé subjekty. Jejich poskytování a využívání je definováno právními normami. Právní omezení poskytnutí dat není záležitostí jen České republiky, ale i dalších zemí. Příkladem je Litva (Žvalionyte 2011) či Itálie (Martini et al. 2012).
Pro zpracování této kontrafaktuální dopadové evaluace v rámci OP LZZ je zásadní existence rámcové smlouvy o poskytování statistických dat mezi Českým statistickým úřadem a Ministerstvem práce a sociálních věcí ČR. Obdobnou smlouvu mají i další ministerstva. Tyto smlouvy umožňují poskytnutí mikrodat řídícím orgánům příslušných programů. V případě OP LZZ pak řídící orgán zajišťoval anonymizaci dat.
Evaluační tým se tedy nikdy nedověděl konkrétní informace o konkrétní firmě. Pro samotnou evaluaci to však ani není zapotřebí. Jak bylo zmíněno výše, metody kontrafaktuální dopadové evaluace pracují s velkým množstvím dat a znalost jednotlivých firem není zapotřebí.
Technická omezení
Problematickým se ukázala nutnost slučovat množství dat do pracovních souborů. Evaluační tým pracoval s 16 různými datovými soubory. V těchto souborech bylo obsaženo 715 proměnných, z nichž 299 však byly proměnné z dotazníkových šetření.
Důvodem pro tak vysoký počet proměnných je pokrytí dat za období 2006 až 2011. Proměnných, které charakterizovaly firmy, bylo 69, přičemž velkou částí byly proměnné vyjadřující strukturu aktiv a pasiv firem.
V různých souborech se tak celkově objevovalo přibližně 75 000 firem. Pro samotnou evaluaci však tak velký počet použit nebyl, protože u řady z nich některá data scházela. Pro srovnání mezi podpořenými firmami a firmami neucházejícími se o podporu jsme pracovali se vzorkem 23 400 firem (většinou těch nežádajících). Neexistuje takový průnik v těchto datových souborech, aby u firmy byly vyplněny všechny proměnné. Vždy alespoň některé hodnoty proměnných schází.
V případě srovnání mezi zamítnutými uchazeči a podpořenými firmami, jsme pracovali se vzorkem 2630 firem (z toho 1447 podpořených firem).
Z tohoto pohledu je pak jasné, že nebylo možné sloučit data do jediného pracovního souboru, protože obvyklé počítačové vybavení není schopno rozumně pracovat s takto velkými soubory. Otevření některých souborů trvalo minuty až desítky minut, v závislosti na výkonu počítače. Kvůli tomu zvolil evaluační tým jiný přístup. Každá analýza byla zpracována na zvlášť připraveném datovém souboru, který byl určen pouze pro danou analýzu. Tím se podařilo snížit náročnost na výpočetní techniku, ale zvýšila se tím organizační náročnost celého procesu.
Dalším technickým omezením bylo to, že některé statistické programy dělaly chyby při slučování dat a nedocházelo k jejich správnému párování. Párování dat nakonec prováděl evaluační tým prostřednictvím databázového programu Microsoft Access. Proto je nutné při každém slučování dat provést kontrolu, zda nedošlo k chybě[7].
Nutné je také zmínit to, že data při zpracování analýz byly používány ve formě, kdy každý případ reprezentoval jednu firmu. Nicméně například data z Monit 7+ byla členěna tak, že každý případ reprezentoval jednu projektovou žádost. Proto evaluační tým musel převést i tato data do formátu, kdy každý z řádků reprezentoval jednu firmu. V případě 17 firem tyto firmy podaly více žádostí a měly dva podpořené projekty. U více výzev a více žádostí by bylo možné využít přístupu vícerozměrné analýzy (Papay, Willett a Murname 2011). Nicméně případů s více projekty je tak málo, že evaluační tým zvolil postup, kdy výši podpory za jednotlivé roky agregoval u těchto firem napříč podpořenými projekty. V případě, kdy jedna firma žádala o více podpor, ale uspěla jen u jedné žádosti, byla považována za podpořenou firmu a do analýzy vstupovaly údaje za tuto podporu (tudíž v souboru tato firma nebyla považována za odmítnutého žadatele).
4. Statistický software
Výběr vhodného software je dalším z potenciálně omezujících faktorů pro realizaci kontrafaktuální dopadové evaluace. Důvodem je realizace výpočtů ve více expertech a možnosti společné práce mezi členy evaluačního týmu.
Při zpracování byly využity jak statistické programy, za jejichž licenci je nutné zaplatit, tak freewarové produkty.
Pro přípravu dat byly využívány MS Excel a MS Access. Statistických programů jako IBM SPSS, Matlab či STATA je také možné využívat, nicméně při práci se zapojením více expertů samozřejmě narůstají náklady evaluačního týmu za nákup multilicencí.
Alternativou jsou freewarové produkty jako R či Octave. Ty mají oproti komerčním produktům výhodu v komunitě, která s těmito statistickými programy pracuje. Pro řadu ekonometrických analýz jsou volně k dispozici skripty, které mohou zrychlit programování a zpracování vlastních analýz.
5. Závěry
Rostoucí zájem o použití ekonometrických metod při hodnocení dopadů politiky soudržnosti vede k tomu, že se postupně posiluje i znalost v evaluační komunitě. Navíc se i samotné metody dále vyvíjejí a zdokonalují, aby pokud možno poskytovaly co nejpřesnější odhady dopadů.
Standardní používání těchto metod povede z dlouhodobého hlediska ke zlepšení parametrů, účelnosti a účinnosti podpor politiky soudržnosti. Použití těchto metod má však i svá omezení, kterých si musí být vědomi jak zadavatelé evaluací (zejména řídící orgány), tak i zpracovatelé. Při podcenění těchto úskalí mohou kontrafaktuální dopadové evaluace poskytovat nerelevantní informace, které naopak implementaci podpor zhorší. Používání těchto metod proto není samoúčelné a vyžaduje obezřetnost.
Základními předpoklady pro úspěšně provedenou kontrafaktuální dopadovou evaluaci jsou:
- datový soubor s dostatečně vysokým počtem zkoumaných případů;
- stejný, nebo velmi podobný typ podpory u všech zkoumaných případů;
- statisticky shodné charakteristiky zkoumané a kontrolní skupiny;
- znalost mechanismů stojících za intervencí (pro vysvětlení dopadů a cílení dalších výzev, ale také pro výběr vhodné instrumentální proměnné);
- znalost toho, kdy je možné generalizovat výsledky odhadu dopadů (některé metody toto neumožňují).
Přestože se metody kontrafaktuální dopadové evaluace mohu zdát komplikované, je možné se je naučit a účelně využívat při zvýšení efektivity nejen politiky soudržnosti, ale i dalších veřejných politik či intervencí financovaných z jiných zdrojů.
Poděkování:
Příspěvek vznikl na základě zkušeností s realizací evaluačního projektu „Pilotní counterfactual impact evaluation OP LZZ, oblast podpory 1.1“ financovaného z Evropského sociálního fondu a státního rozpočtu České republiky.
Autoři děkují Markétě Pouzarové a Jáchymu Hercherovi za podnětné komentáře k první verzi článku.
Poznámky pod čarou:
[1] Pojem kontrafaktuální dopadová evaluace je zde používán v souladu s používáním tohoto pojmu v dokumentech MMR-NOK (2013).
[2] Příkladem randomizovaného výběru je mexický program Progresa. Informaci lze nalézt například v Gertler et al. (2011), kde je uvedena informace nejen o samotném programu, ale také o metodách evaluace dopadů.
[3] Jde o arbitrární hranici stanovenou pravidly OP LZZ. Pokud by byly alokace ve výzvách nižší, pravděpodobně by se hodnota této hranice zvyšovala. Například u Operačního programu Praha adaptabilita se v některých výzvách hranice mezi podporou a zamítnutím posunula přes 80 bodů.
[4] Pokud byla vypracována pouze dvě hodnocení žádosti, jde o tato dvě hodnocení. Pokud bylo zpracováno i třetí hodnocení, je použito toto třetí hodnocení společně s platným hodnocením (zneplatněné hodnocení nebylo použito).
[5] Například jde o snahu uměle navyšovat počet vytvořených pracovních míst, když respondenti vědí, že jde o hodnocení dopadů jimi realizovaného projektu na zaměstnanost.
[6] Data bylo nutné před jejich předáním zpracovateli evaluace anonymizovat.
[7] Například, pokud se slučovala data z více souborů a oba soubory obsahovaly informaci o regionu podnikání firmy, pak by změna regionu působení měla být poměrně ojedinělým jevem, i když ne vyloučeným. Otestování změn v regionech působení, či oboru působení je tak kontrolou bezchybného sloučení dvou souborů.
Seznam použité literatury:
[1] Criscuolo, CH., Martin, R., Overman, H., Van Reenen, J. (2012) „The causal effects of an industrial policy” [online]. Cambridge: NBER WORKING PAPER SERIES, Working Paper 17842. [cit. 2013-06-30] Dostupné z: http://www.nber.org/papers/w17842.pdf?new_window=1
[2] Evropská Komise (2008) „Evalsed: the resource for the evaluation of socio – economic development“ [online]. Brusel: Evropská Komise [cit. 2012-04-17]. Dostupné z: http://ec.europa.eu/regional_policy/sources/docgener/evaluation/evalsed/index_en.html
[3] Evropská Komise (2012) „Návrh nařízení Evropského parlamentu a Rady o společných ustanoveních ohledně EFRR, ESF, FS, EZRV a ENRF, jichž se týká společný strategický rámec, o obecných ustanoveních ohledně EFRR, ESF a FS a o zrušení nařízení Rady (ES) č. 1083/2006“ [online]. Brusel: Evropská komise [cit. 2013-06-30]. Dostupné z: http://ec.europa.eu
[4] Gertler, P. J., Martinez, S., Premand, P., Rawlings, L., B., Vermeersch, CH., M., J. (2011) Impact evaluation in Practice. The International Bank for Reconstruction and Development / The World Bank
[5] Hora, O., Sirovátka, T. (2012) Srovnání efektů aktivní politiky zaměstnanosti v České republice v období růstu (2007) a během první fáze krize (2009). Praha: Výzkumný ústav práce a sociálních věcí, v.v.i.
[6] Kváča, V., Potluka, O. (2011) „Pilotní evaluace srovnávací metodou (counterfactual) v OP Lidské zdroje a zaměstnanost“. Konference ČES Evaluace na rozcestí – trendy a praxe, 2. 6. 2011
[7] Martini, A. et al. (2012) „Counterfactual impact evaluation of enterprise support: Lessons for policy and evaluation design From investment subsidies in Italy“, [online]. [cit. 2013-06-30] Dostupné z: http://www.prova.org/studi-e-analisi/ASVAPP%20INTERIM%20REPORT%20FOR%20CIE%20OF%20ENTERPRISE%20SUPPORT.pdf
[8] MMR ČR – Národní orgán pro koordinaci (2013) „Metodický pokyn MMR-NOK Zásady tvorby a používání indikátorů v programovém období 2014 – 2020“, pracovní verze z února 2013
[9] Mouqué, D. (2011) „Presentation at workshop: How to capture the effects of EU funding? Bringing together qualitative and quantitative methods”. Brussels: Open Days
[10] Mouqué, D. (2012) „What are counterfactual impact evaluations teaching us about enterprise and innovation support?” [online]. [cit. 2013-06-30] Dostupné z: http://ec.europa.eu/regional_policy/sources/docgener/focus/2012_02_counterfactual.pdf
[11] Papay, J. P.; Willett J. B.; Murnane, R. J. (2011) „Extending the Regression-Discontinuity Approach to Multiple Assignment Variables“. Journal of Econometrics. 2011 161(2): 203–207.
[12] Potluka, O. et al. (2013) „Pilotní counterfactual impact evaluation OP LZZ, oblast podpory 1.1; Průběžná zpráva č. 2“ [online]. [cit. 2013-06-30] Dostupné z: http://km.fph.vse.cz/wp-content/uploads/2011/06/Druha_prubezna_zprava.pdf
[13] Potluka, O., Brůha, J., Vozár, O., Špaček, M., Loun, J. (2013) „The impact of subsidies on Czech firms“, Statistika, forthcoming
[14] White, H. (2009) „Theory-Based Impact Evaluation: Principles and Practice, International Initiative for Impact Evalution“ [online]. New Delhi: International Initiative for Impact Evalution [cit. 2013-06-30] Working paper Nr. 3. Dostupné z: http://www.3ieimpact.org/media/filer/2012/05/07/Working_Paper_3.pdf
[15] Žvalionyte, D. (2011) „Background paper for the expert hearing on MS experience on using kontrol Gross in ESF evaluation: the case of Lithuania“.