Úvodní stránka » Archiv čísel » Články 01_2014 » Operační programy

Analýza povědomí o operačních programech a projektech spolufinancovaných z evropských fondů

Otakar Ďurďa

Analysis of Awareness of Operational Programmes and Projects Co-financed from EU funds

 

Abstrakt

Příspěvek se věnuje analýze povědomí obyvatel České republiky o operačních programech, projektech financovaných prostřednictvím evropských fondů a hodnocení přínosů těchto projektů. Prostřednictvím této analýzy je v obecné rovině zkoumána účinnost komunikace na úrovni operačních programů. V souvislosti s povědomím o realizovaných projektech, a zejména pak s povědomím o oblastech realizace těchto projektů, je pozornost dále věnována konfrontaci oblastí skutečně podporovaných z evropských fondů a preferencí a postojů obyvatel České republiky týkajících se oblastí směřování evropských dotací. Ze srovnání jednotlivých výzkumů, které se analýze povědomí věnovaly, vyplývá (až na výjimky) shoda či podobnost zjištěných závěrů a tyto výsledky souhrnně poukazují na vysokou účinnost komunikace vůči cílové skupině široká veřejnost.

Abstract

Paper analyses awareness of inhabitants of Czech Republic on operational programmes, awareness on implemented projects supported by EU funds and also analyses benefits of these projects. Through this analysis is generally examined the effectiveness of communication at the level of operational programmes. In the context with the awareness on implemented projects, and in particular with the awareness on the areas of implementation of these projects, attention is also paid to the confrontation of areas actually supported by EU funds and the preferences and attitudes of inhabitants of the Czech Republic regarding this issue. Based on the comparison of conducted researches that cover the given issue, it can be told that almost all results are similar or the same. Furthermore the analyzed findings indicate high effectiveness of communication towards target group of general population.

Klíčová slova

Operační program, povědomí, projekt, účinnost, přínos

Keywords

Operational programme, awareness, project, effectiveness, benefit

Úvod

Řídící orgány operačních programů mají podle Nařízení Rady (ES) č. 1083/2006 povinnost propagovat a poskytovat občanům Evropské unie a příjemcům informace o programech a operacích spolufinancovaných z evropských fondů, s cílem zdůraznit roli Společenství a zajistit, aby byla pomoc z fondů transparentní. V průběhu programového období tedy řídící orgány jednotlivých operačních programů realizují plánované komunikační aktivity a opatření definované v komunikačních plánech, které by měly vést k naplňování jednotlivých strategických i globálních komunikačních cílů.

Obecným cílem komunikace regionální politiky na národní úrovni (na úrovni jednotlivých operačních programů v ČR) je zajistit, aby pomoc poskytovaná z evropských fondů byla transparentní pro všechny cílové skupiny veřejnosti, aktéry regionálního rozvoje a další potenciální cílové skupiny programu a současně zdůraznit pozitivní vliv, jaký má čerpání strukturálních fondů EU na programy vymezené oblasti podpory.
Mezi specifické cíle komunikace vztahující se k obyvatelům ČR patří zejména:

  • zvyšování povědomí o operačních programech, rozšiřování informovanosti o existenci operačních programů, budování znalosti operačních programů, zvyšování povědomí o přínosech operačních programů,
  • informování o úspěšných realizátorech projektů financovaných z evropských fondů, informování o průběhu realizace projektů financovaných z evropských fondů.

Podle vyjádření Evropské komise musí být v programovém období 2014–2020 věnována mnohem větší pozornost efektivitě komunikace kohezní politiky EU[1]. Obyvatelé Evropské unie mají stále nedostatečné povědomí o dopadu kohezní politiky EU na region svého bydliště[2]. Generální ředitelství pro regionální politiku (DG Regio) proto v této souvislosti podniklo konkrétní kroky s cílem zlepšit viditelnost kohezní politiky EU. Realizována byla například evaluace dobrých praxí v komunikaci regionální politiky EU ve vybraných členských státech. Komunikace v programovém období 2014–2020 bude mít ve srovnání s minulým obdobím mnohem vyšší prioritu a zaměřena by měla být zejména na šíření informací o úspěšných lokálních projektech, což se jeví jako efektivní způsob zvyšování povědomí o práci EU a jejich pozitivních přínosech.

Cílem této práce je primárně analýza efektivity komunikace regionální politiky EU v programovém období 2007–2013 na základě analýzy povědomí obyvatel ČR o jednotlivých operačních programech, analýzy povědomí o realizovaných projektech a hodnocení jejich přínosů. Pozornost je dále věnována analýze oblastí, do kterých by obyvatelé ČR prioritně směřovali prostředky z evropských fondů a tyto oblasti jsou konfrontovány se skutečným zacílením těchto prostředků.

Metodologie a data

Primárním zdrojem dat pro analýzu je výzkumné šetření Institutu evaluací a sociálních analýz (INESAN), které proběhlo formou face-to-face interview (F2F) ve dvou vlnách. První vlna výzkumu byla provedena v lednu 2011 a druhá o dva roky později, v lednu 2013. Zjištění popsané v tomto článku vycházející z druhé vlny výzkumu realizovaného v lednu 2013 a výsledky z první vlny jsou využity na zachycení změn v povědomí respondentů v čase. První i druhá vlna výzkumu byla provedena na reprezentativním vzorku obecné populace ve věku 15–74 let. K výběru respondentů bylo použito kvótní techniky. Výzkumy probíhaly v jednotlivých krajích ČR takovým způsobem, aby byla dodržena proporcionalita zastoupení obyvatel. Při přípravě výběru byla kromě regionálního rozložení dále zohledněna struktura obecné populace z hlediska pohlaví, věku a velikosti místa bydliště. Při koncipování výběru bylo použito aktuálních údajů Českého statistického úřadu. Výběrový soubor z ledna 2011 obsahuje celkem 1 973 validních případů, výběrový soubor z ledna 2013 pak 2114 validních případů. V následujících tabulkách je popsána struktura výběrového souboru z hlediska pohlaví, věku a regionu. V tabulkách je z důvodu srovnání uvedena také struktura obecné populace ČR ve věku 15–74 let, která vychází z aktuálních dat ČSÚ.

 

Kromě dat z výzkumu Institutu evaluací a sociálních analýz byla dále použita data z výzkumu Citizens’ awareness and perceptions of EU regional policy , který v rámci edice Flash Eurobarometer (č. 298) realizovala v roce 2010 společnost The Gallup Organization, dále data z výzkumu Informovanost o fondech EU, který v roce 2011 realizovala společnosti STEM/MARK a v neposlední řadě data vycházející z evaluací plnění komunikačních plánů jednotlivých operačních programů.

1.    Povědomí obyvatel ČR o operačních programech

Mezi specifické cíle komunikace jednotlivých operačních programů patří mimo jiné budování znalosti operačních programů. Povědomí obyvatel o operačních programech a jejich zaměření pak následně podporuje naplňování samotných cílů regionální politiky Evropské unie[3]. O účinnosti komunikace z hlediska naplňování cíle budování znalostí, vypovídá zejména míra povědomí o operačních programech v cílové skupině široká veřejnost. Z výzkumu Institutu evaluací a sociálních analýz vyplývá, že v lednu 2013 znalo minimálně jeden z tematických či regionálních operačních programů 47 % dotázaných. Kromě této absolutní míry povědomí je však důležité porovnat znalost operačních programů mezi experimentální a kontrolní skupinou. Jak v případě experimentální, tak i v případě kontrolní skupiny však není na základě dostupných dat možno přesně definovat respondenty, kteří znají a neznají komunikační aktivity a k vytvoření těchto dvou skupin byla proto použita jiná (podobná) segmentační charakteristika. Experimentální skupinu tvoří respondenti, kteří jsou informováni o problematice evropských fondů a operačních programů (dá se u nich předpokládat, že jsou zasaženi komunikační kampaní) a do kontrolní skupiny byly zařazeny ty osoby, které nemají o evropských fondech žádné nebo téměř žádné informace. Srovnání experimentální a kontrolní skupiny tedy v tomto případě nepřináší jednoznačné potvrzení účinnosti komunikačních aktivit, lze však být považováno za jednu z indicií, na základě které lze odhadovat jejich dopad. Jak vyplývá z následujícího grafu, segment „informovaných“ respondentů zná minimálně jeden operační program téměř 2krát častěji, než respondenti ze segmentu „neinformovaných“. Za předpokladu stejné výchozí úrovně povědomí u obou skupin respondentů (na počátku programového období se dá předpokládat nulová míra povědomí), poukazuje tento rozdíl na potenciální vysokou účinnost komunikačních a propagačních aktivit. Jak dále vyplývá z výsledků chí kvadrát testu [?2=207,100 (df=1), p=0,000], je tato diference statisticky významná. Teze o účinnosti komunikace platí obecně za předpokladu vysoké interní validity[4], tzn., že na míru povědomí má přímý vliv komunikace a ne jiné faktory/vlivy, které by bylo možné jen obtížně identifikovat.

Z hlediska povědomí o jednotlivých operačních programech z výsledků výzkumu vyplývá, že v lednu 2013 měli respondenti nejvyšší povědomí o ROP MS (45 %), ROP SM (43 %), OP LZZ (33 %) a ROP SČ (28 %). Komunikační aktivity těchto operačních programů lze tedy považovat z hlediska dopadu na povědomí o nich za nejúčinnější. Operační programy OPD, OPŽP, ROP SZ, ROP JZ a ROP JV znala přibližně čtvrtina respondentů a u ostatních sledovaných operačních programů (ROP SV, OPPI, OP VK, OP VaVpI a IOP) se míra povědomí pohybovala v rozmezí 6% až 21 %. Kromě výše uvedených hodnot je pro vyhodnocení účinnosti důležité také časové srovnání míry povědomí o jednotlivých operačních programech. Ze srovnání obou vln výzkumu Institutu evaluací a sociálních analýz vyplývá, že k nárůstu povědomí došlo u většiny sledovaných operačních programů (v případě OP VK a IOP není míra povědomí v lednu 2011 dostupná, a porovnání dopadu komunikačních aktivit těchto operačních programů v čase tak nelze provést), přičemž nejvyšší nárůst byl zaznamenán u ROP MS, ROP SM, OP LZZ, ROP SČ, OPD a ROP SZ. Na základě absolutního nárůstu míry povědomí lze tedy z hlediska budování povědomí považovat komunikační aktivity těchto operačních programů v tomto období za nejvíce účinné. Mírný nárůst povědomí byl zaznamenán u ROP JV, OPPI a OP VaVpI, stagnaci či mírný pokles povědomí zaznamenaly ROP JZ, ROP SV. V případě OPŽP došlo k výraznějšímu poklesu povědomí, což může poukazovat na málo účinnou komunikaci.

 

Na účinnost komunikačních aktivit dále poukazuje rozdílná míra povědomí o operačních programech mezi „informovanými“ a „neinformovanými“ respondenty. Jak dokládá tabulka 4, mají informované osoby výrazně vyšší povědomí o jednotlivých operačních programech, než osoby neinformované. Výsledky chí kvadrát testů navíc potvrdily (s výjimkou ROP SČ) statistickou významnost diferencí v míře povědomí mezi těmito dvěma skupinami respondentů. Výrazně vyšší míry povědomí u experimentální skupiny tedy při vyloučení ostatních faktorů (za předpokladu vysoké interní validity) poukazují na možný efekt či důsledek realizovaných komunikačních aktivit.

Míra povědomí o operačních programech byla zjišťována také v rámci výzkumů, které byly realizovány jako součást evaluací plnění komunikačních plánů jednotlivých operačních programů. Jednotlivé výzkumy vztahující se k cílové skupině široká veřejnost byly realizovány na reprezentativním vzorku obecné dospělé populace ČR, přičemž počet respondentů se pohyboval od 230 do 1100. Výzkumy byly realizovány nejčastěji na začátku roku 2011 s výjimkou OPPI, ROP JZ a ROP MS (2010) a ROP JV (2009). Statistická chyba se u těchto výzkumů pohybuje přibližně v rozmezí 2 % až 6 %. V případě operačních programů Praha a regionálních operačních programů byli dotazováni jen respondenti z daných regionů. Z jednotlivých výzkumů vyplývá, že povědomí o jednotlivých operačních programech se výrazně diferencuje a pohybuje se od 5 % v případě OPPA do 35 % v případě OP LZZ a ROP SZ. Konkrétní míra povědomí o sledovaných operačních programech je znázorněna v grafu 3. S výjimkou OPŽP a ROP SV, kterým výzkumy realizované v rámci evaluací plnění komunikačních plánů přiřazují nižší povědomí, než výzkum Institutu evaluací a sociálních analýz a s výjimkou ROP SZ a OPPI, kterým výzkumy realizované v rámci evaluací přiřazují naopak vyšší povědomí, než výzkum Institutu evaluací a sociálních analýz, jsou míry povědomí u ostatních operačních programů po započtení statistických chyb shodné či podobné.

Většina evaluací vychází z vlastních výzkumů realizovaných ad hoc pro daný účel. Některé evaluace se opírají o výzkum Informovanost o fondech EU, který v roce 2011 pro MMR ČR realizovala společnosti STEM/MARK. Jelikož je tedy v rámci srovnání využit vyšší počet výzkumů s tím, že každý měl definovanou samostatnou metodiku sběru dat, lze v případě zjištěných diferencí vyslovit hypotézu, že v některých případech byla použita buď nevhodná metodika, nebo došlo k nedodržení této metodiky, což mohlo vést k výskytu daných diferencí.

2.    Povědomí o projektech podpořených z evropských fondů

Komunikace regionální politiky EU se v průběhu programového období mění za účelem efektivnějšího dosažení komunikačních cílů, podobně, jako se např. mění komunikační cíle marketingové komunikace vzhledem jednotlivým fázím životního cyklu výrobku či služby[5]. V počátečních fázích programového období je komunikace zaměřena na informovanost o existenci a nabídce jednotlivých operačních programů. Komunikace je zaměřena jednak na informování široké veřejnosti a zejména informování potenciálních žadatelů o podporu. V pozdějších fázích se zaměření komunikace přesouvá na šíření výsledků a pozitivních dopadů realizace regionální politiky, což, jak již bylo uvedeno, představuje jeden z nejefektivnějších způsobů zvyšování povědomí o práci Evropské unie a jejich přínosech. Konkrétní vztah jednotlivých stádií programového období 2007–2013 a cílů komunikace, je zobrazen v následujícím schématu na příkladu komunikace ROP Střední Morava.

Schéma 1: Vztah jednotlivých etap programového období a komunikačních cílů

Zdroj: vlastní zpracování; Evaluace komunikačních aktivit ROP Střední Morava v letech 2007–2010

 

Informování o úspěšných realizátorech projektů financovaných z evropských fondů a informování o průběhu realizace projektů financovaných z evropských fondů je tedy dalším specifickým cílem komunikace jednotlivých operačních programů. Ukazatelem, který vypovídá o naplňování tohoto specifického cíle komunikace, je povědomí o konkrétních projektech financovaných z evropských fondů a také hodnocení přínosů těchto projektů. Jak vyplývá například z výsledků výzkumu Flash Eurobarometer č. 298, o konkrétním projektu spolufinancovaném prostřednictvím regionální politiky EU z evropských fondů, který přispívá k rozvoji obce či regionu, má povědomí celkem 58 % obyvatel ČR. Pro srovnání, v případě celé EU zná konkrétní projekt přibližně třetina obyvatel. Vysoké povědomí o projektech mají také obyvatelé ostatních zemí Visegrádské čtyřky. V Maďarsku zná konkrétní projekt 59 % obyvatel, v Polsku 69 % a na Slovensku dokonce 71 % obyvatel. Vysoká míra povědomí o projektech spolufinancovaných prostřednictvím evropských fondů v těchto státech koresponduje s výší prostředků z evropských fondů připadajících na jednoho obyvatele. Podíl těchto prostředků na jednoho obyvatele totiž v zemích Visegrádské čtyřky patří mezi nejvyšší nejen v regionu CEE[6]. Vysoké povědomí občanů ČR o projektech spolufinancovaných ze zdrojů Evropské unie, které přispívají k rozvoji obce či regionu, potvrzuje i výzkum společnosti STEM/MARK, podle kterého zná konkrétní projekt spolufinancovaný ze zdrojů EU více než polovina obyvatel ČR (53 %).

Výzkum Institutu evaluací a sociálních analýz zkoumal jak míru povědomí o projektech spolufinancovaných z evropských fondů, tak hodnocení jejich přínosů. Z výsledků tohoto výzkumu vyplývá, že konkrétní projekt financovaný z evropských fondů ve svém okolí/ve své obci zaznamenaly přibližně dvě pětiny dotázaných (39 %). Tato hodnota je sice nižší, než míra povědomí o těchto projektech vycházející z výzkumů Flash Eurobarometer č. 298 a výzkumu společnosti STEM/MARK (58 %/53 %), ale tento rozdíl může být vysvětlen diferencí v oblasti realizace těchto projektů. V rámci výzkumu Flash Eurobarometer i výzkumu STEM/MARK, byla zjišťována znalost projektu nejen v nejbližším okolí respondenta (v jeho obci), ale obecně v jeho regionu, kde se dá předpokládat četnější výskyt těchto projektů.

 

Na možnou vysokou účinnost komunikace poukazuje opět výrazný rozdíl povědomí mezi „informovanými“ a „neinformovanými“ respondenty. Jak vyplývá z grafu 4, dosahuje rozdíl v míře povědomí o konkrétních projektech mezi těmito dvěma segmenty respondentů 22% (na počátku programového období je opět předpokládána shodná – nulová míra povědomí o realizovaných projektech). Chí kvadrát test navíc dokládá, že je tento rozdíl statisticky významný [?2=90,828 (df=1), p=0,000].

Vysoká míra povědomí o konkrétních projektech tedy z hlediska specifického cíle informování o úspěšných realizátorech projektů financovaných z evropských fondů, poukazuje na vysokou účinnost komunikace ze strany řídících orgánů operačních programů vůči cílové skupině široká veřejnost.

Mezi konkrétní projekty financované z evropských fondů, které respondenti zaregistrovali ve svém okolí, patří nejčastěji projekty spojené s dopravou a dopravní infrastrukturou, projekty spojené s životním prostředím, projekty spojené s opravami a revitalizací veřejných budov a prostranství, projekty spojené se vzděláváním, rekvalifikací a podporou zaměstnanosti a projekty v oblasti sportu a výstavby či revitalizace dětských hřišť. Podrobný přehled jednotlivých projektů je zaznamenán v následující tabulce:

Jak již bylo uvedeno, bylo kromě povědomí o jednotlivých projektech zkoumáno také hodnocení jejich přínosu (hodnotili pouze ti respondenti, kteří zaregistrovali nějaký projekt ve svém okolí financovaný z evropských fondů). Ze získaných odpovědí vyplývá, že současně jak pozitivní, tak i negativní přínos či dopad, uvedlo celkem 41 % dotázaných. Pouze pozitivní přínos uvedla téměř polovina respondentů (48 %) a naopak pouze negativní aspekt/dopad uvedly pouze 4 % respondentů. Ostatní respondenti (7 %) své hodnocení nevyjádřili vůbec. Mezi nejčastěji uváděné pozitivní přínosy jednotlivých druhů projektů patří zejména:

  • v případě projektů spojených s dopravou a dopravní infrastrukturou – kvalitní silnice/komunikace, vybudování nových silnic/komunikací, zlepšení dopravní situace, zlepšení životního prostředí, výstavba nových dálnic, bezpečnější doprava, zrychlení dopravy, lepší využití cyklostezek a bezpečnější pohyb po obci,
  • v případě projektů spojených s životním prostředím – zlepšení životního prostředí, výstavba a fungování čističky odpadních vod, více zeleně v obci a lepší vzhled obce/města,
  • v případě projektů spojených s opravami starých a stavbou nových veřejných budov – oprava historických a kulturních budov, zkulturnění obce, lepší vzhled obce/města, lepší tepelný komfort, modernizace nemocnic, více ubytovaných seniorů v nových domovech důchodců,
  • v případě projektů spojených s podporou zaměstnanosti – pomoc nezaměstnaným při hledání práce, tvorba pracovních míst/vyšší zaměstnanost, příležitost seberealizace,
  • v případě projektů spojených se sportem – lepší kulturní a sportovní vyžití, děti mají kde sportovat, lepší podmínky pro sport a odpočinek a tvorba nových pracovních míst,
  • v případě projektů spojených s opravami a revitalizací veřejných prostranství – lepší vzhled obce/města, zkulturnění obce, bezpečnější pohyb po obci, modernizace chodníků, modernizace osvětlení a obecně zlepšení infrastruktury,
  • v případě projektů spojených se stavbou nových a revitalizací starých dětských hřišť – děti si mají kde hrát, větší bezpečnost pro děti, lepší vzhled obce/města a moderní zázemí pro nejmenší,
  • v případě projektů spojených s oblastí vzdělávání a rekvalifikací – pomoc nezaměstnaným najít práci díky rekvalifikacím, spolupráce škol v rámci EU, nákup nové techniky do škol a zvýšení mezd učitelů.

 

Na druhé straně, mezi nejčastěji uváděné negativní aspekty/dopady jednotlivých druhů projektů patří zejména:

  • v případě projektů spojených s dopravou a dopravní infrastrukturou – korupce, vysoká cena/nízká efektivita vynaložených prostředků, zvýšený provoz a hluk, nízká kvalita dopravních staveb, úbytek parkovacích míst a narušení přírody,
  • v případě projektů spojených s životním prostředím – korupce, kácení zdravých porostů, redukce počtu stromů, hlučnost a nevzhlednost ČOV a nevhodně využité finance,
  • v případě projektů spojených s opravami starých a stavbou nových veřejných budov – opravy málo využívaných budov/jsou to vyhozené peníze, komplikace při opravách a nepraktický projekt,
  • v případě projektů spojených s podporou zaměstnanosti – korupce, zbytečnost projektů, příliš vysoká cena projektu neodpovídající jeho přínosu, nevhodně využité finance a marginální dopad projektu na zvyšování zaměstnanosti,
  • v případě projektů spojených se sportem – korupce, nevhodně využité finance, následně vysoké náklady na správu a údržbu a vysoká cena vstupného,
  • v případě projektů spojených s opravami a revitalizací veřejných prostranství – nedostatečná kontrola čerpání financí, špatná dopravní dostupnost po rekonstrukci, korupce, příliš vysoká cena projektu a komplikace při opravách,
  • v případě projektů spojených se stavbou nových a revitalizací starých dětských hřišť – nedostatečná následná údržba a nepořádek a zbytečné kácení stromů, kvůli stavbě hřiště,
  • v případě projektů spojených s oblastí vzdělávání a rekvalifikací – nezájem nezaměstnaných o rekvalifikační kurzy a marginální dopad rekvalifikací na úspěšnost hledání nového zaměstnání.

 

Jako pozitivní tedy uvádějí respondenti většinou unikátní přínosy vyplývající z oblasti zaměření jednotlivých projektů. Tyto přínosy tedy nemají v rámci jednotlivých projektů společného jmenovatele. Na druhé straně, v případě negativních aspektů, je situace jiná. Kromě opět unikátních negativních aspektů vyplývajících ze zaměření těchto projektů, patří mezi společné, často uváděné negativní aspekty, zejména korupce, předražená cena a s tím související nízká efektivita investovaných prostředků a nevhodný způsob využití evropských dotací. Tyto postoje vyplývající ze spontánního hodnocení dopadu jednotlivých projektů obecně potvrzují převažující názor respondentů na výraznou míru korupce spojenou s přerozdělováním evropských dotací a na nevhodný způsob využití těchto dotací, kterými jsou financovány nesmyslné projety (jak vyplývá z dalších výsledků výzkumu Institutu evaluací a sociálních analýz). Toto zjištění je důležité zejména pro řídící orgány a další subjekty implementační struktury. Pro nastávající programové období 2014–2020 je nutno zaměřit se na eliminaci těchto negativních aspektů realizace jednotlivých projektů, jako je korupce, nízká efektivita investovaných prostředků, financování nevhodných projektů apod. V této souvislosti je nutno podpořit komunikaci zejména vzhledem k cílové skupině široká veřejnost s ohledem na podniknuté kroky týkající se eliminace negativních aspektů čerpání evropských dotací a zaměřit se na informování o pozitivních přínosech jednotlivých projektů, což bylo identifikováno jako účinný nástroj zvyšování povědomí o přínosech EU pro její obyvatele.

Z hlediska hodnocení celkového souhrnného přínosu/dopadu (hodnotili opět pouze ti respondenti, kteří ve svém okolí zaregistrovali nějaký projekt financovaný z evropských fondů) z odpovědí respondentů vyplývá, že téměř polovina (45 %) hodnotí jejich celkový přínos jako pozitivní, 36 % vnímá přínos jako neutrální a jen přibližně pětina respondentů (19 %) ho hodnotí jako negativní.

 

Ze srovnání odpovědí „informovaných“ a „neinformovaných“ respondentů, je patrný pozitivní vliv komunikace na postoje respondentů, které se týkají hodnocení celkového přínosu projektů financovaných prostřednictvím evropských fondů. Respondenti, kteří jsou seznámeni s problematikou evropských fondů a operačních programů, totiž vnímají přínos těchto projektů pozitivně v mnohem větší míře, než ostatní dotázaní (64 % vs. 37 %). V případě negativního hodnocení přínosu projektů je situace opačná (viz následující graf). Jak potvrzují výsledky chí kvadrát testu [?2=121,562 (df=2), p=0,000], je rozdíl obou skupin respondentů v hodnocení přínosu projektů spolufinancovaných z evropských fondů statisticky významný. Také tyto výsledky tedy naznačují potenciální vysokou účinnost komunikace (opět za předpokladu vysoké interní validity).

 

Výše uvedená zjištění potvrzují důležitou roli a účinnost zásahu komunikace v oblasti šíření informací o poslání evropských fondů, která je realizována prostřednictvím informování o pozitivních dopadech a přínosech jednotlivých projektů a programů.

Převažující pozitivní hodnocení přínosu či dopadu projektů financovaných z evropských fondů obyvateli ČR potvrzuje také výzkum Flash Eurobarometer č. 298. Z výsledků tohoto výzkumu vyplývá, že obyvatelé ČR, kteří znají konkrétní projekty spolufinancované z prostředků Evropské unie, vnímají tyto projekty převážně pozitivně. Celkem 84 % si totiž myslí, že dané projekty mají pozitivní dopad na rozvoj jejich obce či regionu, o opaku je přesvědčeno jen 7 % obyvatel. K názoru o negativním dopadu těchto projektů vede obyvatele ČR podle tohoto výzkumu zejména jejich přesvědčení o tom, že evropské prostředky byly použity na financování špatných projektů, a protože považují míru spolufinancování ze strany Evropské unie za příliš nízkou, než aby to mělo výraznější vliv na rozvoj jejich regionu. Zde výzkum Flash Eurobarometer tedy koresponduje s výsledky výzkumu Institutu evaluací a sociálních analýz týkajících se neefektivního nakládání s prostředky z evropských fondů.  Celkem 9 % obyvatel ČR se pak nedokáže jednoznačně přiklonit ani na jednu stranu, a nejsou tak schopni přínos realizovaných projektů ve svém okolí zhodnotit. Hodnocení dopadu/přínosu realizovaných projektů v rámci výzkumu Flash Eurobarometer více méně korespondují s výsledky výzkumu Institutu evaluací a sociálních analýz. Podíl pozitivních hodnocení dopadu projektů uvedených ve výzkumu Flash Eurobarometer totiž přibližně odpovídá podílu pozitivních a neutrálních hodnocení celkového přínosu projektů uvedených ve výzkumu Institutu evaluací a sociálních analýz. Avšak z důvodu rozdílné škály (respondenti dotazovaní v rámci výzkumu Eurobarometer mohli uvádět pouze odpovědi pozitivní přínos – negativní přínos), se tedy jedná pouze o orientační porovnání výsledků obou výzkumů.

3.    Preferované oblasti směřování prostředků z operačních programů

Jak bylo uvedeno v předcházející kapitole, obyvatelé ČR ve svém okolí zaznamenali nejčastěji projekty spojené s dopravou a dopravní infrastrukturou, projekty spojené s životním prostředím, projekty spojené s opravami a revitalizací veřejných budov a prostranství a projekty spojené se vzděláváním, rekvalifikací a podporou zaměstnanosti. Jaké jsou však skutečné prioritní oblasti podpory z evropských fondů a odpovídají tyto prioritní oblasti preferencím a požadavkům obyvatel ČR týkajících se směřování evropských dotací? Mezi hlavní nástroje regionální politiky EU patří strukturální fondy, mezi které patří Evropský fond regionálního rozvoje (ERDF) a Evropský sociální fond (ESF). Dalším významným nástrojem je Fond soudržnosti – Kohezní fond (CF), který strukturální fondy doplňuje. Z hlediska velikosti je nejdůležitější Evropský fond regionálního rozvoje, jehož rozpočet na období 2007–2013 činí 201 mld. €. Podpora z tohoto fondu se zaměřuje především na investice do podniků (zejména malých a středních) s cílem vytvořit udržitelná pracovní místa, na infrastrukturu související zejména s výzkumem a inovacemi, telekomunikacemi, životním prostředím, energetikou a dopravou a na podporu regionálního a místního rozvoje a podporu spolupráce měst a regionů. Evropský sociální fond má na období 2007–2013 rozpočet 76 mil. € a jeho cílem je zvýšení zaměstnanosti a rozšíření pracovních příležitostí v Evropské unii. Zaměřuje se zejména na podporu systémů celoživotního vzdělávání, navrhování a šíření inovačních forem organizace práce, na podporu přístupu k zaměstnání pro uchazeče o zaměstnání, ekonomicky neaktivní osoby, ženy a migrující pracovníky, na podporu sociálního začleňování znevýhodněných osob, na boj proti diskriminaci na trhu práce a na podporu rozvoje lidského kapitálu prostřednictvím reforem vzdělávacích systémů a vytváření sítí vzdělávacích institucí. Fond soudržnosti má na období 2007–2013 rozpočet 70 mld. € a působí v Bulharsku, v České republice, v Estonsku, na Kypru, v Litvě, v Lotyšsku, v Maďarsku, na Maltě, v Polsku, v Portugalsku, v Rumunsku, v Řecku, na Slovensku, ve Slovinsku a v přechodném režimu také ve Španělsku. Fond soudržnosti financuje činnosti v oblasti transevropské dopravní sítě (zejména prioritní projekty evropského zájmu určené Evropskou unií) a v oblasti životního prostředí. Mezi evropské fondy se řadí také Evropský zemědělský podpůrný a garanční fond (EAGGF) a Finanční nástroj pro podporu rybolovu (FIFG). Tyto dva nástroje mají v porovnání s ostatními fondy jen doplňkový význam. Pomoc regionální politiky EU realizovaná prostřednictvím výše uvedených fondů je tedy zaměřena na řešení nezaměstnanosti, na zvyšování konkurenceschopnosti, na zvyšování vzdělanosti a kvalifikace, na podporu hospodářského růstu, na zvyšování kvality života, na rozvoj dopravní infrastruktury, na zlepšování stavu životního prostředí, na udržitelný rozvoj atd. Jak tedy toto zaměření podpory z evropských fondů koresponduje s postoji obyvatel ČR? Do jakých oblastí by tedy měla být podle obyvatel ČR směřována pomoc z evropských fondů? Jak vyplývá z výsledků výzkumu Institutu evaluací a sociálních analýz, obyvatelé ČR nejčastěji preferují využít evropské dotace na řešení nezaměstnanosti a investovat je obecně do zdravotnictví. Do těchto dvou oblastí by směřovala dotace více než polovina obyvatel. Za důležité jsou považovány také oblasti sociální péče, školství, vzdělávání a rekvalifikace, životní prostředí a rozvoj měst a obcí. Preference obyvatel ČR tedy v tomto případě více méně korespondují se zaměřením regionální politiky EU na podporu vzniku nových pracovních míst, zvyšování kvalifikace, ochranu životního prostředí a zvyšování kvality života. V menší míře by obyvatelé ČR směřovali evropské dotace do oblasti výzkum, vývoje a inovací, na dopravní infrastrukturu, na podporu konkurenceschopnosti a na rozvoj malých firem (méně než pětina). Zde je tedy patrný určitý nesoulad mezi prioritami podpory, jak je vnímá EU, a jak je vnímají obyvatelé ČR.

 

Postoj ke směřování evropských dotací je diferencován zejména z hlediska pohlaví a věku. Zatímco muži preferují častěji směřování prostředků z evropských fondů na zvyšování konkurenceschopnosti průmyslu (17 % vs. 11 %), na výstavbu železnic a dálnic (19 % vs. 13 %) a na rozvoj malých firem (14 % vs. 9 %), ženy naopak preferují ve větší míře zaměření dotací na životní prostředí (33 % vs. 27 %), zdravotnictví (58% vs. 50 %), sociální péči (43 % vs. 36 %) a školství, vzdělávání a rekvalifikace (36 % vs. 29 %). Z hlediska věku ze získaných odpovědí vyplývá, že lidé mladší než 30 let preferují výrazně častěji než starší respondenti směřování evropských dotací do školství, vzdělávání a rekvalifikací (39 % vs. 30 %), zatímco lidé ve věku 30 až 49 let preferují výrazně častěji než ostatní zaměření dotací na zvyšování konkurenceschopnosti průmyslu (17 % vs. 12 %), na výstavbu dopravní infrastruktury (22 % vs. 13 %) a na rozvoj malých firem (14 % vs. 10 %), tedy na oblasti podporující ekonomický růst. Pro obyvatele starší než 50 let je charakteristická, ve srovnání s ostatními, dominantní preference oblasti zdravotnictví (64 % vs. 49 %) a oblasti sociální péče (45 % vs. 35 %).

V rámci podrobnější analýzy postojů v oblasti zaměření evropských dotací byla provedena hierarchická shluková analýza jednotlivých oblastí, do kterých by podle obyvatel ČR měly směřovat prostředky z evropských fondů. Na základě této shlukové analýzy založené na Wardově metodě[7], lze definovat dvě hlavní skupiny oblastí, v rámci kterých jednotlivé položky vykazují podobnosti z pohledu preferencí. První skupinu (shluk) tvoří řešení zaměstnanosti, zdravotnictví, školství, vzdělávání, rekvalifikace a sociální péče (ve schématu 2 označeny černou barvou). Druhou skupinu (shluk) tvoří ostatní sledované oblasti, tzn. životní prostředí, rozvoj měst a obcí, zemědělství a rozvoj venkova, výstavba železnic a dálnic, výzkum, vývoj a inovace, konkurenceschopnost průmyslu, zkvalitňování veřejné správy a rozvoj malých firem (ve schématu 1 označeny šedou barvou).

 

Z hlediska zjištěných preferencí je z pohledu obyvatel ČR mnohem významnější směřovat prostředky z evropských fondů zejména do prvního shluku oblastí, tedy na řešení zaměstnanosti, do zdravotnictví, do školství, vzdělávání, na rekvalifikace a na sociální péči. Obyvatelé ČR tak jasně vyjádřili, že preferují „sociální“ oblasti před oblastmi „ekonomickými“ a „technickými“.

Informace o postojích obyvatel ČR, které se týkají oblastí směřování prostředků z fondů EU, přináší dále také výzkum Flash Eurobarometer č. 298, v rámci kterého byla mimo jiné analyzována důležitost podpory vybraných sektorů či oblastí. Podle výsledků tohoto výzkumu považuje všechny sledované oblasti za důležité (tzn., že by do nich měly směřovat evropské dotace) více než polovina obyvatel ČR. Za vůbec nejdůležitější považují obyvatelé ČR směřovat podporu z fondů EU zejména do vzdělávací, zdravotní a sociální infrastruktury a do oblasti životního prostředí. Tyto dvě oblasti považuje za důležité téměř 90 % obyvatel. Přibližně tři čtvrtiny obyvatel považují za důležité směřovat evropské dotace také na podporu malých podnikatelských subjektů, na podporu výzkumu a inovací a na budování nové dopravní infrastruktury. Nepatrně nižší podíl obyvatel (přibližně dvě třetiny) považuje za důležité podporovat projekty spojené s obnovitelnou a čistou energií a také turismus a kulturu. Podporu ostatních sledovaných oblastí (vzdělávání zaměstnanců, energetickou infrastrukturu a rozvoj internetového připojení) prostřednictvím evropských dotací považují za důležité tři pětiny nebo méně obyvatel ČR. Ze srovnání odpovědí obyvatel ČR s obyvateli celé EU je patrné, že evropské intervence do vzdělávání, zdravotnictví, sociální oblasti a do oblasti životního prostředí jsou nejdůležitější nejen pro obyvatele ČR, ale také obecně pro obyvatele celé EU. Ze vzájemného srovnání dále vyplývá, že pro Čechy je důležitější směřovat evropskou pomoc na výstavbu dopravní infrastruktury, na podporu turismu a kultury a na podporu rozvoje internetového připojení, tedy do oblastí, které jsou za celou EU hodnoceny jako méně důležité z hlediska alokace evropských dotací. Na druhé straně pod průměrem za celou EU se nachází hodnocení důležitosti podpory malým podnikům, podpory vzdělávání zaměstnanců a podpory obnovitelné a čisté energie. V hodnocení důležitosti ostatních sledovaných sektorů (výzkum a inovace a energetická infrastruktura) neexistují mezi obyvateli ČR a obyvateli celé EU žádné nebo jen zanedbatelné diference. Jednotlivé rozdíly mezi ČR a celou EU jsou zobrazeny v tabulce 7.

 

Také výzkum Informovanost o fondech EU, který realizovala společnost STEM/MARK na začátku roku 2011, poukazuje na postoje obyvatel ČR týkající se důležitosti oblastí směřování evropských dotací v rámci regionální politiky EU. V tomto případě byly zjišťovány pouze tři nejdůležitější sektory, na které by se měly evropské dotace prioritně zaměřit. Podle tohoto výzkumu by obyvatelé ČR směřovali prostředky z evropských fondů především do zdravotnictví a do oblastí spojených s životním prostředím. Zdravotnictví považuje za nejdůležitější oblast podpory polovina obyvatel, oblast životního prostředí pak 43 % obyvatel. Pomoc by měla dále směřovat také do oblasti školství, vzdělávání, rekvalifikací a do oblasti dopravy, jak si myslí téměř dvě pětiny obyvatel. Jako méně důležité (nikoliv však nedůležité) jsou z hlediska směřování pomoci z Evropské unie považovány oblast řešení nezaměstnanosti, oblast sociální péče a obecně zemědělství a rozvoj venkova. Pomoc pro tyto sektory považuje za důležitou třetina až čtvrtina obyvatel. Přibližně pětina si myslí, že by pomoc z regionální politiky EU měla být směřována na rozvoj měst a obcí. Oblasti, které by měly zajišťovat a podílet se na ekonomickém rozvoji a prosperitě (výzkum, vývoj, inovace a konkurenceschopnost průmyslu a služeb), řadí mezi nejdůležitější jen přibližně desetina obyvatel ČR.

Z postojů obyvatel České republiky, které vyplývají z výše uvedených výzkumů, je tedy patrné, že Češi obecně považují za důležité směřovat prostředky z evropských fondů do všech sledovaných oblastí. Je zde však patrná větší preference vybraných oblastí, jako jsou zejména zdravotnictví, životní prostředí, vzdělávání, rekvalifikace, řešení nezaměstnanosti, sociální služby a doprava. Naopak prioritní oblasti regionální politiky EU, jako je výzkum, vývoj, inovace a zvyšování konkurenceschopnosti, považují obyvatelé ČR z hlediska směřování evropských dotací za méně důležité a významné.

Závěr

Jednotlivé výzkumy poskytují většinou přibližně stejná či podobná data o znalostech jednotlivých operačních programů, realizovaných projektů a jejich hodnocení. Na základě zjištěné míry povědomí a jejích změn v čase a na základě testování a srovnání experimentální a kontrolní skupiny respondentů, lze vyslovit hypotézu o účinné komunikaci vzhledem k naplňování specifického cíle komunikace zvyšování povědomí o operačních programech a rozšiřování informovanosti o existenci operačních programů, který se týká cílové skupiny široká veřejnost. Míra účinnosti se však napříč jednotlivými operačními program liší. Jak vyplývá nejen z výzkumu Institutu evaluací a sociálních analýz, v povědomí o jednotlivých operačních programech existují diference a účinnost komunikačních aktivit jednotlivých operačních programů (i z pohledu změny povědomí v čase) je tak nestejnoměrná. Na účinnost komunikace poukazuje také míra povědomí a hodnocení konkrétních projektů. Ve srovnání s Evropskou unií mají obyvatelé ČR vysoké povědomí o realizovaných projektech ve svém okolí a tyto projekty jsou vnímány převážně pozitivně. Pokud obyvatelé ČR ve svém okolí zaznamenali nějaký projekt financovaný z evropských fondů, jedná se zejména o projekty spojené s dopravou a dopravní infrastrukturou, s životním prostředím a s podporou zaměstnanosti. Tyto oblasti spolu se zdravotnictvím, sociálními službami a vzděláváním, patří zároveň mezi oblasti,
do kterých by obyvatelé ČR prostředky z evropských fondů prioritně směřovali.

Pro korektní vyhodnocení dopadu/účinnosti komunikace by bylo zapotřebí metodicky správného nastavení experimentální a kontrolní skupiny (přesné rozlišení respondentů podle znalosti komunikačních aktivit). Toto přesné rozlišení však nebylo možné, a proto byla využita segmentace podle kritérií, která se tomuto přesnému rozlišení přibližují. Z tohoto důvodu zjištěné závěry pouze poukazují na možnou účinnost, kterou však nelze z evaluačního hlediska 100% potvrdit.

Poznámky pod čarou:
[1] viz časopis DG Regio Panorama č. 48
[2] viz Flash Eurobarometer 298
[3] viz například Wokoun (2011)
[4] Interní validita odkazuje na zjevné účinky/efekty programu, které jsou skutečným důsledkem realizace programu, a nikoli jiných faktorů/vlivů (Robson, 2000).
[5] např. Přikrylová, Jahodová (2010); De Pelsmacker et al. (2003)
[6] viz KPMG (2011)
[7] Tato metoda vychází z analýzy rozptylu. Vybírá takové shluky ke sloučení, kde je minimální součet čtverců. Požaduje vyjádření vzdálenosti objektů čtvercovou euklidovskou vzdáleností.

 

Zdroje

[1] De Pelsmacker, P., Geuens, M., Van der Bergh, J. (2003). Marketingová komunikace. Praha: Grada Publishing.

[2] DG Regio (2013) „Better and more effective communication“ [online]. Panorama 48: 27-31 [cit. 2014-02-20]. Dostupný z: http://ec.europa.eu/regional_policy/information/panorama/index_cs.cfm

[3] HOPE-E.S. Evaluace komunikačního plánu OP VK [online]. Brno: HOPE-E.S. [cit. 2011–03–30]. Dostupné z: http://www.esfcr.cz/file/8200/

[4] HOPE-E.S. Evaluace komunikační strategie a publicity OP VaVpI [online]. Brno: HOPE-E.S. [cit. 2011–04–08]. Dostupné z: http://www.msmt.cz/file/16808

[5] KPMG. EU Funds in Central and Eastern Europe: Progress report 2007–2012 [online]. [cit. 2013-07-05]. Dostupné z: http://www.kpmg.com/pl/en/issuesandinsights/articlespublications/pages/eu-funds-in-central-and-eastern-europe-progress-report-2007-2012.aspx

[6] Magistrát hl. m. Prahy. Výroční zpráva OP Praha adaptabilita za rok 2011 [online]. Praha: Magistrát hl. M. Prahy [cit. 2012–03–21]. Dostupné z: http://www.prahafondy.eu/cz/oppa/dokumenty/vyrocni-zpravy.html

[7] MD ČR. Výroční zpráva OP Doprava za rok 2010 [online]. Praha: MD ČR [cit. 2011–06–15]. Dostupné z: http://www.opd.cz/cz/vyrocni-zpravy-OPD

[8] MPO ČR. Výroční zpráva Operačního programu Podnikání a inovace za rok 2010 [online]. Praha: MPO ČR [cit. 2011–05–17]. Dostupné z: http://www.mpo-oppi.cz/media/273-vyrocni-zpravy-oppi-za-roky-07-08-09-10-1112.html

[9] MŽP ČR. Výroční zpráva za rok 2010, OPŽP [online]. Praha: MŽP ČR [cit. 2011–06–29]. Dostupné z: http://www.opzp.cz/sekce/522/vyrocni-zpravy/

[10] Nařízení Rady (ES) č. 1083/2006 o obecných ustanoveních o Evropském fondu pro regionální rozvoj, Evropském sociálním fondu a Fondu soudržnosti a o zrušení nařízení (ES) č. 1260/1999. 2006. Dostupný také z: http://
eur-lex.europa.eu/LexUriServ/LexUriServ.do?uri=OJ:L:2006:210:0025:0078:CS:PDF

[11] NAVIGA 4. Evaluace komunikačních a propagačních aktivit OP LZZ a realizace komunikačního plánu. [online]. Praha: NAVIGA 4 [cit. 2011–04–11]. Dostupné z: http://www.esfcr.cz/file/8122/

[12] NAVIGA 4. Evaluace komunikačních a propagačních aktivit IOP [online]. Praha: NAVIGA 4 [cit. 2011–03–31]. Dostupné z: http://www.strukturalni-fondy.cz/cs/Microsites/Integrovany-OP/O-programu/Dokumenty

[13] NAVIGA 4. Evaluace komunikačních a propagačních aktivit OPPA a OPPK [online]. Praha: NAVIGA 4 [cit. 2011–06–14]. Dostupné z: http://www.prahafondy.eu/userfiles/File/OPPA%20dokumenty/Evaluace/Evaluace_KoP_OPPA_OPPK_Zaverecna_zprava.pdf

[14] NAVIGA 4. Vyhodnocení plnění Komunikačního plánu Operačního programu Doprava [online]. Praha: NAVIGA 4 [cit. 2011–04–29]. Dostupné z: http://www.opd.cz/cz/Studie-a-analyzy

[15] Navreme Boheme. Evaluace realizace Komunikačního plánu Regionálního operačního programu NUTS II Severovýchod a realizace komunikačních a propagačních aktivit [online]. Praha: Navreme Boheme [cit. 2010–12–19]. Dostupné z: http://www.rada-severovychod.cz/file/1434

[16] Portál zaměřený na informace o strukturálních fondech [online]. MMR. [cit. 2013–09–12]. Dostupné z: http://www.strukturalni-fondy.cz

[17] Přikrylová, J., Jahodová, H. (2010). Moderní marketingová komunikace. Praha: Grada Publishing

[18] Regionální politika – Inforegio [on-line]. Evropská komise ©2013. [cit. 2013-09-12]. Dostupné z: http://ec.europa.eu/regional_policy/index_cs.cfm

[19] Regionální rada regionu soudržnosti Severozápad. Výroční zpráva Regionálního operačního programu regionu soudržnosti Severozápad za rok 2010 [online]. Ústí nad Labem: Regionální rada regionu soudržnosti Severozápad [cit. 2011–06–01]. Dostupné z: http://www.nuts2severozapad.cz/ropsz/ropsz-info/vyrocni-zprávy

[20] Regionální rada regionu soudržnosti Jihovýchod. Evaluace dosavadního provádění Komunikačního plánu ROP jihovýchod [online]. Brno: Regionální rada regionu soudržnosti Jihovýchod [cit. 2011]. Dostupné z: http://www.jihovychod.cz/vysledky-rop/vyrocni-zpravy-rop-jv

[21] Regionální rada regionu soudržnosti Jihozápad. Evaluace komunikačních a publicitních aktivit ROP NUTS II Jihozápad [online]. České Budějovice: Regionální rada regionu soudržnosti Jihozápad [cit. 2011–01–01]. Dostupné z: http://www.rr-jihozapad.cz/?menu=rop-jihozapad&art=prubeh-realizace-evaluace

[22] Regionální rada regionu soudržnosti Střední Čechy. Evaluace realizace Komunikačního plánu ROP SČ [online]. Praha: Regionální rada regionu soudržnosti Střední Čechy [cit. 2011–04]. Dostupné z: http://www.ropstrednicechy.cz/documents.php?mid=030441f2-1036-11e1-a696-5254003d369a

[23] Regionální rada regionu soudržnosti Střední Morava. Evaluace komunikačních aktivit v letech 2007 – 2010, ROP Střední Morava [online]. Olomouc: Regionální rada regionu soudržnosti Střední Morava [cit. 2011–02–28]. Dostupné z: http://www.rr-strednimorava.cz/

[24] Robson, C. (2000). Small-Scale Evaluation. Thousand Oaks, Calif: Sage.

[25] Stejskal, J., Kovárník, J. (2009). Regionální politika a její nástroje. Praha: Portál.

[26] STEM/MARK. Informovanost o fondech EU [online]. STEM/MARK © 2011 [cit. 2011–04]. Dostupné z: https://www.strukturalni-fondy.cz/cs/Fondy-EU/Narodni-organ-pro-koordinaci/Publicita/Novinky-Publicity/Dotazni
kove-setreni-Informovanost-o-EU-fondech

[27] The Gallup Organization. Citizens’ awareness and perceptions of EU regional policy [online]. The Gallup Organization © 2010 [cit. 2010–10]. Dostupné z: http://ec.europa.eu/public_opinion/flash/fl_298_en.pdf

[28] Wokoun, R., Mates, P., Kadeřábková, J. et al. (2011). Základy regionálních věd a veřejné správy. Plzeň: Aleš Čeněk


Novinky

5. 4. 2016
Evaltep a ERIH Plus
3. 3. 2016
Speciální anglické vydání
18. 12. 2015
Podzimní číslo roku 2015

archív

Kontakt

Redakce ETP
Sokolovská 351/25,
186 00 Praha 8
220 190 597

Časopis Evaluační teorie a praxe je součástí:

ERIH PLUS