Evaluace dopadů veřejných výdajových programů na kvalitu ovzduší
Jan Brůha, Oto Potluka
Evaluation of Public Expenditure Programmes in Air Quality Protection
Abstrakt
Znečištěné ovzduší má vliv na zdraví obyvatelstva. Proto existují programy, jako je Operační program Životní prostředí, jejichž cílem jsou investice ke snížení koncentrací znečišťujících látek v ovzduší. Tento článek se věnuje vyhodnocení dopadů prioritní osy 2 Operačního programu Životní prostředí. Konkrétně jde o odpověď na otázku, zda investice této prioritní osy vedly ke snížení znečištění ovzduší na Ostravsku.
Pro odhad dopadů je použita metoda synthetic control method, která uměle vytváří srovnávací skupinu pro zkoumaný region. Na datech o měsíčních průměrných koncentracích znečišťujících látek PM2.5 a PM10 a investicích do kvality ovzduší je odhadován dopad na koncentrace polutantů po roce 2012.
Výsledky ukazují, že realizace těchto investičních výdajů v tuto chvíli nemá prokazatelný pozitivní vliv na znečištění. Nicméně časová řada, která byla v tomto článku využita, byla příliš krátká s ohledem na dynamiku čerpání Operačního programu Životní prostředí.
Abstract
Air pollution is proven to adversely affect human health. For this reason, public authorities intervene to decrease air pollution. In the Czech Republic, an example of such an intervention is the Operational Programme Environment. This article asks whether the investments under the priority axis 2 of this programme have led to a decrease in air pollution in the Ostrava region.
The synthetic control method is used to estimate the impacts of the intervention. This method is based on an artificially created comparison group for the evaluated region. The impact of the intervention on air pollution after the year 2012 is estimated on the monthly data of average concentrations of pollutants PM2.5 and PM10.
The results show that this investment has not led to a significant reduction in pollutant concentrations. The caveat is that time series is still too short and the reduction of air pollution due to impacts of the Operational Programme Environment may be identified in future.
Klíčová slova
Dopadová evaluace, ovzduší, operační program, Fondy EU, znečištění ovzduší
Keywords
Impact evaluation, air, operational programme, EU funds, air pollution
- Úvod
V současné době je stále více patrné, že i země, které byly dříve zařazovány mezi rozvinuté, mají veřejné rozpočtové zdroje velmi omezené. Proto je i v členských zemích Evropské unie kladen stále větší důraz na maximálně možné efektivní využívání veřejných prostředků. Patrný je v tomto směru i tlak ze strany Evropské komise na to, aby byly využívány rigorózní metody výzkumu dopadů a efektivnosti politik. Stále častěji se objevují výzkumy věnované dopadům podpůrných programů ve firmách (Bondonio a Engberg, 2000; Battistin a Rettore 2002; Alecke, 2012; Czarnitzki, Bento a Doherr, 2011, ASVAPP, 2012; Alecke at al., 2002) nebo podporu zaměstnanosti (Wunsch a Lechner, 2008; Hamersma, 2008; Gault, Leach a Duey, 2010; Degravel, 2011; Abramovsky et al., 2011; nebo Lechner, Miquel a Wunsch, 2011).
Význam kvality ovzduší a jeho znečištění na zdraví obyvatelstva je nezpochybnitelný. Řada výzkumů se věnuje problematice vztahu znečištění ovzduší a zdravím obyvatelstva. Zde uvádíme pouze stručný výčet studií z poslední doby, které se věnují stejným polutantům, jakým jsme se ve svém výzkumu věnovali my, tj. PM2.5 a PM10, ale zahrnují i například O3, SOx a NOx.
Vlivem prachových částic PM2.5 a PM10 na zdraví obyvatel se zabývalo v poslední době několik studií (Arraz et al, 2014, Garshick, 2014, Lagravinese, 2014, Raun et al, 2014, Yorifuji et al, 2014, nebo Esposito et al, 2014). Vliv na vyšší úmrtnost v důsledku PM2.5 v řádu stovek osob a kardiorespirační a plicní onemocnění rakovinou a respirační problémy a vyšší úmrtnost v důsledku PM10 v řádu desítek osob ve Valladolidu ve Španělsku zmiňuje Arraz et al (2014). U PM2.5 se potvrzuje zvýšená pravděpodobnost chronické plicní obstrukční nemoci (Garshick, 2014), zvýšená pravděpodobnost zdravotních problémů (Wilker et al, 2014; Yorifuji et al, 2014). Lagravinese (2014) na vzorku 103 italských provincií prokázal vliv PM10 na častější hospitalizaci v důsledku chronické obstrukční plicní nemoci u dětí (studie však neprokázala vliv PM2.5, obdobně jako studie Raun et al, 2014). U PM10 je dokumentována zvýšená pravděpodobnost astmatických záchvatů a respiračních onemocnění u dětí v Miláně v Itálii (Esposito et al 2014).
V případě ozónu byl prokázán vliv na častější hospitalizaci v důsledku chronické obstrukční plicní nemoci u dospělých (Lagravinese 2014), vyšší pravděpodobnost astmatického záchvatu (navíc zvýšená v kombinaci s vyšším znečištěním NO2) v Houstonu (Raun et al, 2014). Naopak studie Arraz et al (2014), Garshick (2014), Yorifuji et al (2014) neuvádějí vliv této znečišťující látky (ostatní polutanty měly významnější vliv na zdravotní stav zkoumaných osob).
Znečišťující látka NO2 má vliv na zvýšenou pravděpodobnost chronické plicní obstrukční nemoci (Garshick 2014), zvyšuje pravděpodobnost astmatického záchvatu, navíc ještě dále ještě tuto pravděpodobnost zvyšuje kombinace s vyšším znečištěním O3 (Raun et al, 2014) a také má tato látka vliv na vyšší pravděpodobnost astmatických záchvatů a respiračních onemocnění u dětí (Esposito et al (2014). Shrnutí těchto studií zobrazuje tabulka č. 1.
Přestože existuje celá řada studií zkoumající vliv znečištění na zdraví obyvatelstva, evaluace vlivu podpůrných programů na životní prostředí a zdraví lidí je naopak opomenutým tématem. Zde prezentovaným výzkumem chceme tuto mezeru zaplnit a přispět k rozvoji aplikace evaluačních metod v oblasti, která není tak často evaluována. Konkrétně jde tedy o výzkum dopadů veřejných výdajových programů na kvalitu životního prostředí, specificky na kvalitu ovzduší. Výzkumná otázka, na kterou chceme odpovědět je: Jaký mají vliv investice určené na programy ochrany ovzduší na lokální znečištění?
Zkoumanou oblastí je Ostravsko, neboť jde o region, který patří co do znečištění ovzduší mezi nejexponovanější regiony v České republice a i proto se na ní zaměřily některé z podpor Operačního programu Životní prostředí (OP ŽP).
Další část studie je členěna následovně. Po první, úvodní části, která představuje význam tématu evaluací v oblasti životního prostředí, následuje druhá kapitola, věnovaná popisu zaměření zkoumaných intervencí. Třetí kapitola popisuje data z monitorovacího systému Operačního programu Životní prostředí, data o polutantech z Českého hydrometeorologického ústavu a v neposlední řadě i metodu synthetic control method, která je použita pro tento výzkum. Čtvrtá kapitola popisuje podrobné použití metody a její výsledky, které ukazují, že ve sledovaném období nedošlo ke zlepšení kvality ovzduší na Ostravsku. Poslední část celou studii uzavírá.
Operační program Životní prostředí je programem zaměřeným na investice Evropského fondu pro regionální rozvoj a Fondu soudržnosti v oblasti ochrany kvality životního prostředí. Řídicím orgánem OP ŽP je Ministerstvo životního prostředí ČR a zprostředkujícím subjektem je Státní fond životního prostředí ČR. Žadatelé předkládají své žádosti o financování zprostředkujícímu subjektu, přičemž kvalita jejich žádostí je hodnocena podle předem definovaných kritérií přijatelnosti vymezených programem.
Objektem našeho výzkumu je OP ŽP, konkrétně prioritní osa 2 zaměřená na zlepšování kvality ovzduší a snižování emisí. Prvním ze specifických cílů této prioritní osy je snížení expozice obyvatelstva nadlimitními koncentracemi PM10 a koncentracemi PM2.5, což jsou polutanty, které podrobujeme našemu výzkumu. OP ŽP si definovalo jako indikátor v této prioritní ose podíl obyvatelstva ČR, který je vystaven nadlimitním koncentracím PM10. Cílem je snížení tohoto ukazatele z 66% úrovně v roce 2005 na úroveň 60 % na konci programovacího období v roce 2013 (MŽP, 2012, str. 117).
V rámci tohoto výzkumu se zaměřujeme na investice na Ostravsku v Moravskoslezském kraji. V tomto kraji byl realizován nejvyšší počet projektů v prioritní ose 2 (12,7 %) ze všech krajů České republiky. Co se týče finanční alokace v prioritní ose 2, pak z celkové sumy 17,6 mld. Kč investovaných v ČR, bylo celých 41,0 % investováno právě v Moravskoslezském kraji (pro další informace o alokacích viz tabulka č. 2).
Data, která byla použita pro analýzy, pochází z monitorovacího systému Operačního programu Životní prostředí a z Českého hydrometeorologického ústavu (ČHMÚ). Data o projektech umožňují identifikaci oblasti podpory, termíny zahájení a ukončení projektů, krátký slovní popis realizovaných aktivit, výši finanční podpory a obec, ve které byl projekt realizován. Data z ČHMÚ obsahují informaci ze 72 měřících stanic rozmístěných po celé ČR, tak že je plošně pokryto celé území a tudíž je možné data použít pro konstrukci syntetického regionu (viz dále v části o metodě). Data pokrývají koncentraci znečišťujících látek PM2,5 a PM10, NOx, SO2 průměrná teplota vzduchu, průměrná délka slunečního svitu a průměrný úhrn srážek po jednotlivých měsících.
Data ČHMÚ pokrývají období za roky 2006–2013. Data z monitorovacího systému pokrývají kratší období, protože programovací období vztahující se na OP ŽP spadá do období 2007–2013.
Na základě toho jsme schopni přiřadit k jednotlivým regionům nejen výši investice na ochranu a zlepšování kvality ovzduší, ale též povětrnostní situaci v daném období.
V této části textu popisujeme základní charakteristiky datového souboru. Časové řady znečištění za jednotlivé zkoumané polutanty začínají od ledna 2006 do roku konce roku 2013 a jedná se o měsíční data. Pro SO2 pracujeme však s daty od ledna 2008 a u PM10 od ledna 2007; důvodem jsou chybějící data pro velkou část stanic v letech 2006 a 2007 pro SO2 (resp. pro rok 2006 pro PM10). Do analýzy jsme použili údaje za měřící stanice, které měly alespoň 80 % dat za dané období.
Tabulka 4 ukazuje popisnou statistiku pro PM2.5. Pro tento typ polutantu máme údaje za 5 měřících stanic na Ostravsku. Pro každou stanici uvádíme průměrné koncentrace pro celé období, průměrné koncentrace pro období před a po lednu 2012, příslušné směrodatné odchylky, p-hodnota statistického testu rovnosti průměrných koncentrací před a po lednu 2012 (p-hodnota nižší než 0,05 by indikovala zamítnutí hypotézy o rovnosti průměrných koncentrací) a počty měsíčních pozorování pro jednotlivá období.
Z tabulky je zřejmé, že průměrné koncentrace před a po roce 2012 nejsou od sebe signifikantně odlišné a tudíž nepřijímáme hypotézu o tom, že by po roce 2012 koncentrace PM2.5 poklesly. Zároveň směrodatné odchylky jsou poměrně vysoké, což je způsobeno velkou sezónností časové řady (koncentrace jsou typicky vyšší v zimních měsících).
Z toho důvodu jsme provedli dodatečné statistické testy, které pomocí regresní rovnice, v níž jsou v roli dummy proměnných sezónní vlivy, dummy proměnná pro období po roce 2012 a jejich interakce, testovaly, zda nedošlo ke statisticky významnému poklesu koncentrací po roce 2012 alespoň v zimních měsících (lednu a únoru). Ani tento test neukazuje na statisticky signifikantní pokles koncentrací. Pro robustnost výsledků jsme do regresní specifikace zahrnuli časový trend, abychom odhalili případnou tendenci koncentrací k poklesu, ale ani zde statistické testování nepřineslo signifikantní výsledky.
Obdobné údaje vychází i pro ostatní polutanty, tedy SO2, NOx, a PM10. Ani pro tyto polutanty se neukazuje, že by průměrné koncentrace vykázaly statisticky signifikantní pokles po roce 2012 (či jiné varianty řešení). Provedli jsme také dodatečné testování s explicitním zahrnutím sezónních dummy proměnných a se zahrnutím časového trendu. Opět jako v případě PM2.5 tyto testy také nepřinesly evidenci o poklesu koncentrací. Jistou výjimkou jsou koncentrace SO2, kde statistický test poklesu koncentrací po roce 2012 pro některé měřící stanice pro zimní měsíce vykazuje p-hodnotu okolo 0,08 (což je však hodnota, která nestačí k zamítnutí nulové hypotézy o rovnosti koncentrací na konvenční hladině 5 %).
Je tedy možné, že alespoň pro SO2 se ukáže pokles koncentrací v zimních měsících, nicméně data jsou nedostatečná na to, abychom toto přijali jako robustní závěr.
V této části stručně popíšeme aplikovanou metodu -- Synthetic Control Method (SCM) a zdůvodníme její použití. Jedná se o evaluační metodu, která se aplikuje, jsou-li k disposici data za relativně málo jednotek, přičemž se většinou jedná o velké jednotky, jakými jsou města, regiony nebo země. Tím se liší např. od metod založených na párování, které požadující data za mnoho, obvykle malých jednotek (např. individuí nebo firem). Metoda byla vyvinuta a zpopularizována v pracích Abadie a Gardeazabal (2003) a Abadie et al. (2010). V environmentální ekonomii byla tato metoda aplikována např. v práci Almer a Winkler (2012), kteří vyhodnocovali dopady efektů Kjótského protokolu.
V případě intervencí OP ŽP bude typicky nedostatečně splněna podmínka dostatečné statistické vydatnosti datových souborů (bude příliš málo zkoumaných jednotek, na kterých by bylo možné uplatnit statistický zákon velkých čísel). V případě zkoumaném v tomto článku, tj. v případě investic do ochrany ovzduší, se však bude obtížně hledat velké množství regionů, které by bylo možné mezi sebou srovnávat, a proto používáme metodu SCM.
Princip SCM spočívá v tom, že v případech, kdy neexistuje kontrolní skupina, je nutné takovou skupinu vytvořit uměle[1] (dále používáme pojem „syntetizovat“). SCM je založena na vytvoření hypotetické syntetické jednotky, která v období před intervencí velmi připomíná pozorované charakteristiku zkoumané jednotky. Následně rozdíl mezi charakteristikami syntetických jednotek a skutečných jednotek, které obdržely intervenci, je chápán jako odhad vlivu intervence. Obecným principem je založit konstrukci syntetické („kontrafaktuální“) jednotky na regresní analýze využívajících dat z jiných jednotek.
V našem případě jsme „nasyntetizovali“ časové řady koncentrací PM2.5 a PM10 na Ostravsku (syntetizovali jsme i další znečišťující látky, ale tyto dvě považujeme, s ohledem na cíle programu, za nejdůležitější). „Syntetický“ region je postaven na datech do 2012 (nebo podle toho, jaký rok vezmeme jako přelomový) včetně a kontrafaktuál (předpokládaný vývoj bez investic) je od ledna 2013 (či po přelomovém roce). Aby poskytla metoda kredibilní výsledky, je třeba, aby regrese na základě dat z jiných regionů dobře vysvětlila zkoumaný region do období 2012 (resp. ve zkoumaném období).
Pro lepší představení této metody, bude ilustrována na našem konkrétním případě. Nechť xit jsou koncentrace znečištění v čase t pro měřící stanici i. Pro t před rokem 2012 (tedy před obdobím před intervencí) odhadujeme regresní rovnici tvaru:
xit = α0i + zit β + eit, (1)
kde zit jsou pozorované veličiny vztahující se k času t a k regionu, v němž se nachází měřící stanice i, β a α0i jsou koeficienty a eit jsou idiosynkratické chyby. Pokud tento regresní model je schopen dobře vysvětlit koncentrace znečištění ve zkoumaném regionu, máme dobrou syntetickou proměnnou a metoda může poskytnout validní výsledky.
Odhadnuté koeficienty β a α0i (explicitně upozorňujeme, že odhad musí být proveden na datech před intervencí) jsou pak použity na „syntézu“ zkoumaného regionu pro období po intervenci (tj. po 2012). Na základě známých veličin zit a rovnice (1) lze pak spočítat očekávané hodnoty znečištění ve zkoumaném regionu, které by nastaly, pokud by intervence nebyla přítomna. Rozdíl mezi takto „syntetizovanými“ hodnotami a skutečnými hodnotami je odhad intervence.
Pokud odhadneme směrodatnou odchylku odhadnutých koeficientů a náhodných složek eit, lze jednoduše zkonstruovat i intervaly spolehlivosti pro syntetické hodnoty a tedy testovat statistickou významnost odchylek syntetických a skutečných hodnot.
Jak je patrné z tabulky č. 3, intenzita podpory se postupně zvyšuje. I přesto průměrné koncentrace statisticky významně nepoklesly, jak dokládají výsledky z tabulky č. 4. To však nemusí nutně znamenat, že intervence neměla efekt. Je totiž možné, že bez intervence by průměrné koncentrace mohly vzrůst a efekt intervence je pak vlastně rozdíl mezi tímto hypotetickým vzrůstem a současnou hodnotou. Aby bylo možné konstatovat, zda intervence skutečně měla nebo ne vliv aplikujeme výše zmíněnou metodu synthetic control method.
Pro demonstraci metody jsme použili jako zlomové období rok 2012, nicméně jsme provedli analýzy i pro jiná období. Nevýhodou je, že data pokrývají období, ve kterém probíhala intenzívní podpora, a tudíž může ovlivňovat výsledky. Na tomto místě není dostatek prostoru pro prezentaci výsledků pro všechny měřící stanice a varianty řešení, nicméně na vyžádání jsou autoři schopni tyto výsledky poskytnout. Autoři také na požádání mohou poskytnout kódy v softwaru Octave, které mohou replikovat všechny výsledky.
Jak bylo zmíněno v předchozí části, pro metodu je klíčový správný výběr vysvětlujících proměnných pro rovnici (1). Jde o to, aby vysvětlení pozorovaných koncentrací v období před intervencí bylo co nejlepší.
Jaké veličiny je možné volit v daném případě? Nabízí se přirozeně jednak socio-ekonomické údaje za jednotlivé regiony, které by mohly mít vliv na úroveň znečištění (zde jsme brali v úvahu míry ekonomické aktivity jako je HDP na obyvatele, nezaměstnanost, počet pracujících v průmyslu, počet osobních a nákladních automobilů) a indikátory počasí (teplota, vítr). Byli jsme ovšem limitování údaji, které jsou k disposici za všechny regiony ČR.
Ukázalo se, že existuje jedna veličina, která velmi dobře vysvětluje koncentrace znečištění na Ostravsku a tou je první hlavní komponenta (first principal component) znečištění z měřících stanic ze všech ostatních krajů ČR. Pokud tato veličina je zahrnuta do regrese, lze vysvětlit typicky více než 80% variability dat a ostatní proměnné jsou nesignifikantní. To pochopitelně neznamená, že by ekonomická aktivita, počet aut nebo počasí nebylo relevantní pro koncentrace znečištění – znamená to však, že tyto veličiny jsou velmi zkorelované na úrovni ČR a tudíž jsou „obsaženy“ v použité hlavní komponentně. Zde upozorňujeme, že toto není obecný závěr, ale týká se pouze zkoumaného problému. Pro případ jiných datových souborů nebo jiných aplikací metody SCM nemusí být regrese založená na hlavních komponentách vhodná.
Jaké jsou výsledky? Jako příklad výsledků se podívejme na obrázek 1, který ukazuje data za koncentrace PM2.5 ve vybraných měřicích stanicích v Moravskoslezském kraji. Nepřerušovanou čarou jsou vyznačena pozorovaná data. Tečkovaná čára vyznačuje jednak syntetizovaná data před rokem 2012 a odhadnutá na základě rovnice (1) a pak vývoj po roce 2012. Vidíme, že skutečná a syntetizovaná data jsou si velmi podobná a tudíž rovnice (1) na datech před rokem 2012 má velmi dobrý fit.
Bohužel syntetická veličina a data jsou si podobná i po lednu 2012, což znamená, že intervence měla pravděpodobně jen velmi malý vliv na znečištění. Formálně řečeno, data po roce 2012 jsou v mezích intervalů spolehlivosti pro syntetickou veličinu a tudíž data a syntetická veličina jsou statisticky takřka „totožné“.
Pokud by intervence měla signifikantní vliv na snížení znečištění, měla by se syntetická veličina nacházet signifikantně výše nad pozorovanými daty (nejlépe nad horním intervalem spolehlivosti). To ovšem není tento případ.
Podobnou analýzu jsme provedli i pro všechny měřící stanice a všechny polutanty a nenašli jsme ani jeden případ, kdy by bylo možné říci, že intervence měla signifikantní vliv na snížení koncentrací polutantů po roce 2012.
Poslední poznámka se týká sezónnosti. Jak jsme diskutovali při popisu dat (a jak je koneckonců vidět i z obrázku), data koncentrací znečištění jsou velmi sezónní. Bystrý čtenář se může otázat, zda takřka perfektní fit rovnice (1) není způsobem právě tímto sezónním faktorem, což by mohlo znehodnotit naši analýzu.
Z tohoto důvodu jsme pro robustnost našich výsledků odhadli metodu SCM pomocí nikoliv úrovní, ale také na ročních změnách, přičemž roční změny sezónní faktory odstraňují. Naše závěry zůstávají v platnosti i při použití této transformace.
- Závěry
Na základě použité metody můžeme udělat závěr, že na Ostravsku se po roce 2012 situace u PM2.5 a PM10 ve srovnání se zbytkem ČR nezlepšila (v relativním vyjádření spíše naopak). Intervence tedy nebyla účinná, resp. byla relativně méně účinná než intervence v jiných regionech. Z tohoto pohledu je samozřejmě také možné učinit závěr, že neměla-li intervence vliv na znečištění, pak ani nemohla ovlivnit zdravotní stav obyvatelstva ve zkoumaném regionu.
Způsob, jakým jsme metodu synthetic control method použili, má však svá úskalí. Jde zejména o to, že intenzita podpory se zvyšovala s blížícím se koncem období. Proto je vhodné, zopakovat analýzu ještě jednou v době, kdy budou k dispozici i data za roky 2014 až 2016. Zejména pak za období, kdy již žádná podpora z OP ŽP nebyla vyplácena a všechny investiční projekty budou ve své realizační fázi.
Tento příspěvek vznikl díky podpoře projektu č. TD020224, financovaného Technologickou agenturou České republiky z programu Omega, realizovaného na Katedře managementu VŠE v Praze.
Zdroje
[1] ABADIE, A., DIAMOND, A., HAINMUELLER, J. (2015) Comparative Politics and the Synthetic Control Method, American Journal of Political Science, 59(2),495-510
[2] ABADIE, A., GARDEAZABAL, J. (2003) The Economic Costs of Conflict: A Case Study of the Basque Country, American Economic Review 93(1), 113-132.
[3] ABADIE A., DIAMOND, A., HAINMUELLER, J. (2010) Synthetic Control Methods for Comparative Case Studies: Estimating the Effect of California’s Tobacco Control Program, Journal of the American Statistical Association 105(490), 493-505.
[4] ABRAMOVSKY, L., BATTISTIN, E., FITZSIMONS, E., GOODMAN, A., SIMPSON, H. (2011) Providing Employers with Incentives to Train Low-Skilled Workers: Evidence from the UK Employer Training Pilots, Journal of Labour Economics, 29(1), 153-193, DOI: 10.1086/656372
[5] ALECKE, B., REINKOWSKI, J., MITZE, T., UNTIEDT, G. (2012) Does firm size make a difference?: analysing the effectiveness of R&D subsidies inEast Germany, German Economic Review, 13(2), 174-195, DOI: 10.1111/j.1468-0475.2011.00546.x
[6] ALMER, C., WINKLER R. (2012) The Effect of Kyoto Emission Targets on Domestic CO2 Emissions: A Synthetic Control Approach. Working paper, , [cit 2013-09-08],Dostupný také z: http://www.cer.ethz.ch/auroe/tagu
ngen/auroe2012_winkler.pdf
[7] ARRAZ, M., C., MUNOZ MORENO, M. F., MEDINA, A. A., CAPITÁN, M. A., VAQUER, F. C., GÓMEZ, A. A., (2014) Health impact assessment of air pollution in Valladolid, Spain, BMJ Open, 4, 1-11
[8] ASVAPP (2012) Counterfactual impact of cohesion policy: impact and cost-effectiveness of investment subsidies in Italy, [cit 2013-03-08]. Dostupné z: http://ec.europa.eu/regional_policy/information/evaluations/impact_evaluation_en.cfm#1
[9] BATTISTIN, E. & RETTORE, E. (2002) Testing for Programme Effects in a Regression Discontinuity Design with Imperfect Compliance, Journal of the Royal Statistical Society. Series A (Statistics in Society), 165(1), 39-57
[10] BONDONIO, D., ENGBERG, J. (2000) Enterprise zones and local employment: evidence from the states' programs, Regional science & urban economics, 30(5), 519-549
[11] CZARNITZKI, D., BENTO, C. L., DOHERR, T. (2011) Counterfactual impact evaluation of cohesion policy: Examples from Support to Innovation and Research, [cit 2013-06-08]. Dostupné z: http://ec.europa.eu/regional
_policy/information/evaluations/pdf/impact/ciewp2_final.pdf
[12] DEGRAVEL, D. (2011) Internships and Small Business: A fruitful Union? A Conceptual Approach, Journal of Management Policy and Practice, 12(2), 27
[13] ESPOSITO, S., GALEONE, C., LELII, M., LONGI, B., ASCOLESE, B., SENATORE, L., PRADA, E., MONTINARO, V., MALERBA, S., PATRIA, M. F., PRINCIPI, N. (2014) Impact of air pollution on respirátory diseases in children with recurrent wheezing or asthma, BMC Pulmonary Medicine, 14(130), 1-9
[14] GARSHICK, E. (2014) Effects of short- and long-term exposures to ambient air pollution on COPD, European Respiration Journal, 44, 558-561
[15] GAULT, J, LEACH, E., DUEY, M. (2010) Effects of business internships on job marketability: the employers´ perspective, Education + Training, 52(1), 76 – 88
[16] HAMERSMA, S. (2008) The Effects of an Employer Subsidy on Employment Outcomes: A Study of the Work Opportunity and Welfare-to Work Tax Credits, Journal of Policy Analysis and Management, 27(3), 498-520
[17] LAGRAVINESE, R., MOSCONE, F., TOSETTI, E., LEE, H. (2014) The impact of air pollution on hospital admissions: Evidence from Italy, Regional Science and Urban Economics, 49, 278-285
[18] LECHNER, M., MIQUEL, R., WUNSCH, C. (2011) Long-run effects of public sector sponsored training in West Germany, Journal of the European Economic Association, 9(4), 742-784
[19] Ministerstvo životního prostředí (2012) Operační program Životní prostředí, [cit 2013-06-08],Dostupný také z: http://www.strukturalni-fondy.cz
/getmedia/d72d3a37-b57f-4883-9ab5-e2f5dbe67d5d/Programovy-dokume
nt-OP-Zivotni-prostredi-na-programove-obdobi-2007%E2%80%932013.pdf
?ext=.pdf
[20] RAUN, L. H., ENSOR, K. B., PERSSE, D. (2014) Using community level strategies to reduce asthma attacks triggered by outdoor air pollution: a case crossover analysis, Environmental Health, 13(58), 1-14
[21] YORIFUJI, T., SUZUKI, E., KASHIMA, S. (2014) Hourly differences in air pollution and risk of respirátory dinase in the elderly: a time-stratified case-crossover study, Environmental Health, 13(67): 2-11
[22] WHITE, H. (2011) An introduction to the use of randomized kontrol trials to evaluace development interventions, International Initiative for Impact Evaluation, Working paper 9
[23] WILKER, E. H., LJUNGMAN, P. L., RICE, M. B., KLOOG, I., SCHWARTZ, J., GOLD, D. R., KUTRAKIS, P., VITA, J. A., MITCHELL, G. F., VASAN, R. S., BENJAMIN, E. J., HAMBURG, N. M., MITTLEMAN, M. A., (2014) Relation of Long-Term Exposure to Air Pollution to Brachial Artery Flow-Mediated Dilation and Reactive Hyperemia, The American Journal of Cardiology, 113(12), 2057-2063
[24] WUNSCH, C., LECHNER, M. (2008) What Did All the Money Do? On the General Ineffectiveness of Recent West German Labour Market Programmes, Kyklos, 61(1), 134-174
[1] Příkladem je studie o tom, jak by se vyvíjelo hospodářství Německé spolkové republiky, pokud by nedošlo ke sjednocení (Abadie, 2015).