Úvodní stránka » Archiv čísel » Články 01/2018 » Behaviorální adicionalita

Koncept behaviorální adicionality a jeho využití v hodnocení programů výzkumu, vývoje a inovací

Vladislav Čadil, Miroslav Kostić

Abstrakt

Článek je věnován představení konceptu behaviorální adicionality, který je využíván při vysvětlování a hodnocení změn v procesech a chování podnikatelských subjektů v oblasti VaV a inovací, které byly vyvolány podporou z veřejných zdrojů. Behaviorální adicionalita je chápána jako multidimenzionální koncept, uvnitř kterého lze definovat řadu různých typů. Z hlediska důležitosti pro celkové přínosy veřejných politik jsou klíčové typy adicionality, které zvyšují kompetence podpořených subjektů, protože dlouhodobé zvyšování inovační aktivity a výkonnosti podpořených firem vede ke vzniku spill over efektů, ze kterých má v důsledku prospěch celý inovační systém. Na rozdíl od konceptů adicionality vstupů a výstupů koncept behaviorální adicionality klade důraz na dlouhodobý charakter změn v chování podpořených firem. Behaviorální adicionalita je hodnocena stejnými metodami jako adicionality vstupů a výstupů, avšak vzhledem ke své novosti není dosud tento koncept jednoznačně vymezen a zaštítěn odpovídajícími teoretickými přístupy. V Česku je hodnocení behaviorální adicionality dosud věnována jen velmi malá pozornost, proto je v závěru článku na příkladu ukázáno využití konceptu pro hodnocení programu včetně použitého hodnotícího rámce.

Abstract

The article introduces the behavioral additionality concept, which is used for evaluation and explanation of changes in behavior of recipients of R&D&I support from public sources. Behavioral additionality is understood as a multidimensional concept consisting of several specific sub-types. As regards to the importance for the overall benefits of public policies, key sub-types of additionality are those that increase competences of supported entities because the long-term increase in innovation performance of supported firms leads to the spill-over effects spreading to the entire innovation system. Unlike the input and output additionality the concept of behavioral addiction emphasizes the long-term character of changes in the behavior of supported firms. Behavioral additionality is evaluated by the same methods like the input and output additionalities. However, because of its novelty this concept is not yet clearly defined and underpinned by adequate theoretical approaches. In the Czech Republic, the evaluation of behavioral additionality is still paid very little attention. In this context an example of utilization of the concept for program evaluation including the used assessment framework is presented in the conclusion of the paper.

Klíčová slova

behaviorální adicionalita, evaluace, programy výzkumu, vývoje a inovací

Keywords

Behavioral additionality, evaluation, R&D&I programs

 

Grantová podpora:

Tento příspěvek vznikl s podporou projektu VATES – Věda a technologie pro společnost, který byl podpořen Ministerstvem školství, mládeže a tělovýchovy ČR.

1. Úvod

Jednou z klíčových otázek evaluace programů na podporu výzkumu, vývoje a inovací (VaVaI) je otázka zhodnocení jejich skutečného přínosu, tedy efektu, který by bez podpory programu nevznikl. Tento efekt je nazýván adicionalitou (Buisseret a kol., 1995). Základními otázkami, na které odpovídá evaluace adicionality, jsou zejména: jaký je skutečný příspěvek programu k dosaženým změnám, jaké změny, a v jakém rozsahu by nastaly i bez přispění programu, a zda jsou vynaložené prostředky komplementární k soukromým zdrojům či je nahrazují (HM Treasury, 2003).

Specifickým druhem adicionality je změna procesů a chování podpořených subjektů v důsledku obdržené podpory, která je charakterizována jako behaviorální adicionalita (Buisseret a kol., 1995, OECD 2006). Ta je relativně novou oblastí evaluace programů VaVaI, větší pozornost jí začala být věnována teprve v závěru 90. let 20. století, a to zejména v souvislosti se změnou chápání inovačního procesu, kdy lineární model inovací byl v teoretické literatuře nahrazen interaktivním modelem (Georghiou and Clarysse 2006). Behaviorální adicionalita začala být sledována především v zemích s vyspělou evaluační kulturou programů VaVaI – Velké Británii, Nizozemsku, Švédsku, Finsku či Rakousku a také u Rámcových programů EU pro výzkum a technologický rozvoj.

V ČR zůstává otázka behaviorální adicionality při hodnocení programů VaVaI spíše na okraji pozornosti. Stávající metodika hodnocení ukončených programů VaVaI (Úřad vlády, 2016) tuto otázku vůbec nezmiňuje a ani zadávací dokumentace a následně provedené evaluace programů se až na výjimky behaviorální adicionalitou nezabývají. Jedním z důvodů může být celková neznalost konceptu behaviorální adicionality v ČR. Proto je hlavním cílem tohoto příspěvku představit tento koncept české odborné veřejnosti včetně způsobu jeho hodnocení a následně na příkladu hodnocení jednoho konkrétního programu VaVaI ukázat, jakým způsobem může být behaviorální adicionalita sledována v ČR.

Příspěvek je založen na diskusi teoretické literatury v oblasti behaviorální adicionality a na diskusi zpráv z evaluace zahraničních programů. Pro vyhledávání evaluačních zpráv byla využita databáze SIPER (the Science and Innovation Policy Evaluation Repository), která byla vytvořena v rámci projektu Evropské komise RISIS. Teoretická literatura byla vyhledávána v zahraničních odborných časopisech, které se věnují problematice VaVaI, konferenčních sbornících relevantních konferencí, working paperech organizací zabývajících se evaluací VaVaI, a to na základě již získaných znalostí problematiky behaviorální adicionality, doporučení a osobní znalosti výzkumníků z Manchester Institute of Innovation Research.

V první části tohoto příspěvku je představen koncept behaviorální adicionality a různé způsoby jeho chápání. Následně jsou stručně charakterizovány jednotlivé typy behaviorální adicionality a uvedeny různé dopady, které jsou sledovány v rámci tohoto konceptu. Další část se zabývá přístupy k hodnocení behaviorální adicionality včetně teoretických rámců pro hodnocení. Dále je na příkladu programu TIP představen možný rámec pro hodnocení behaviorální adicionality v Česku, který navrhli a aplikovali autoři tohoto příspěvku, a diskutovány pozitiva a negativa jeho využití. V závěru je shrnut přínos tohoto konceptu.

2. Koncept behaviorální adicionality

Pro měření dopadů výzkumných a inovačních politik jsou již tradičně využívány koncepty označované jako adicionalita vstupů (input additionality) a adicionalita výstupů (output additionality). Adicionalita vstupů obvykle označuje dodatečné investice ze strany podpořených subjektů, ke kterým by bez intervence z veřejných zdrojů nedošlo (nejedná se však o povinné spolufinancování z vlastních zdrojů příjemce, jak je často mylně chápáno). Zjednodušeně řečeno zjišťuje, kolik korun ze soukromých zdrojů generuje jedna koruna vynaložená z veřejných zdrojů v podobě dotace. Adicionalita výstupů zjišťuje měřitelné výstupy činnosti podpořených subjektů (např. vědecké publikace, aplikované výsledky či zlepšení ekonomických charakteristik podpořených podniků) vzniklé jako přímý důsledek podpory z veřejných zdrojů. Tyto principy vycházejí z neoklasické ekonomické teorie a usilují o nápravu selhání trhu. Úspěšné jsou pak pouze ty politiky a opatření, které generují více vstupů/výstupů, než by vzniklo bez jejich realizace (Georghiou, 2003).

Od 90. let 20. století se v akademické literatuře i v hodnocení výzkumných a inovačních politik objevuje koncept behaviorální adicionality (Buisseret a kol., 1995), který postihuje změny v chování podpořených subjektů. Tento koncept vyvstal jako reakce na evaluaci založenou jen na sledování vstupů a výstupů, která podpořené firmy nahlížela jako na celek (pojímala jako „black box“), tedy se žádným způsobem nezaobírala procesy uvnitř firem. Autoři tohoto konceptu argumentovali, že informace o vstupech a výstupech je zcela nedostatečná pro zhodnocení úspěchu politiky, protože nepostihuje vývoj a charakteristiky procesu, kterým se ze vstupů stávají výstupy a výsledky, a jak se v důsledku obdržené veřejné podpory mění tyto procesy (chování firem). Dalším důvodem pro rozvoj konceptu byl posun výzkumných a inovačních politik od zaměření na řešení tržních selhání k řešení systémových selhání (Georghiou a Clarysse, 2006) a, jak již bylo řečeno, změna chápání inovačního modelu.

Autoři konceptu (Buisseret a kol., 1995, s. 590) jej definovali jako změny ve způsobu realizace firemních VaV aktivit, které mohly být způsobeny politikou, resp. programem VaV. Soustředí se tedy pouze na změny v oblasti VaV, což ovšem nepostihuje komplexitu inovačního procesu. Oproti tomuto vymezení Georghiou (2003) chápe koncept behaviorální adicionality šířeji a zaobírá se stálými (dlouhodobými) změnami ve všech oblastech chování firem, přičemž zdůrazňuje právě aspekt trvání změn, které přesahují VaV aktivity podniků a jsou integrovány do obecných schopností firem. K postižení těchto změn stanovuje tzv. kognitivní kapacitu, která zahrnuje vliv politik na získávání znalostí, lidské zdroje, kapitálové investice, tržní pozici, výrobu a služby poskytované podniky a korporátní zodpovědnost a udržitelnost (ve smyslu trvale udržitelného rozvoje). Rozdíl behaviorální adicionality oproti adicionalitě vstupů a výstupů shrnuje následující tabulka.

Přes pozornost, která je konceptu behaviorální adicionality v posledních dvou desetiletích věnována v odborné literatuře a v hodnocení výzkumných a inovačních politik, není tento koncept dosud jednoznačně teoreticky zarámován. Gök (2010, s. 59–61) na základě analýzy evaluačních zpráv a teoreticko-metodologických studií rozdělil stávající přístupy, resp. chápání behaviorální adicionality do čtyř kategorií:

• Behaviorální adicionalita jako nástavba adicionality vstupů zejména z hlediska charakterizování změn velikosti a rozsahu řešených aktivit (tzv. scale additionality a scope additionality) či rychlejšího dosažení plánovaných výsledků (tzv. acceleration additionality). Charakter změn je jednorázový, bez delšího trvání.
• Behaviorální adicionalita jako jednorázové změny v chování podpořených aktérů. Vedle změn popsaných v předchozí kategorii takto chápaná behaviorální adicionalita představuje celkové změny v realizaci výzkumných projektů. Identifikované změny v chování aktérů mají ovšem spíše krátkodobé až střednědobé trvání.
• Behaviorální adicionalita jako změny v chování podpořených aktérů, které mají dlouhodobý až trvalý charakter.
• Behaviorální adicionalita jako trvalé a komplexní změny v chování a řízení podpořené firmy, které se na rozdíl od tří kategorií výše netýkají pouze oblasti výzkumu, vývoje a inovací.

Z této klasifikace je zřejmé, že jednou z klíčových aspektů behaviorální adicionality je trvalost změn v chování podpořených podniků. Každá intervence z veřejných prostředků může vyvolat krátkodobé i dlouhodobé změny v chování. Avšak trvalost krátkodobých změn nepřesahuje ukončení projektu podpořeného z veřejných zdrojů. Nelze tak hovořit o změnách kognitivní kapacity podniků a tedy behaviorální adicionalitě v pravém slova smyslu.

Problémem přístupů, které se nezabývají trvalostí změn v chování firem vyvolaných poskytnutím veřejné podpory, je, že vykazují dosažené změny jen k určitému časovému bodu a přehlížejí možné spill-over efekty a udržitelnost dosažených změn. S tím je spojen další problém spočívající ve všeobecně aplikovaném statickém chápání těchto změn (Georghiou, 2003). Behaviorální adicionalita je tak chápána na principu vstup/výstup, ovšem na úrovni chování firem (např. z hlediska úrovně spolupráce s jinými subjekty) před a po přijetí veřejné podpory. Rozdíl zjištěný
mezi těmito dvěma staticky chápanými hodnotami je beze zbytku připsán veřejné intervenci, zatímco všechny ostatní proměnné, které mohou výsledné změny ovlivnit, jsou zpravidla považovány za konstantní. Takový přístup opomíjí dynamický charakter změn chování dosahovaných veřejnými intervencemi a je dokonce v rozporu s evolucionistickou teorií inovační politiky, ze které koncept behaviorální adicionality vychází (Gök a Edler, 2012, s. 4).

Rozdílné přístupy k chápání a měření behaviorální adicionality samy o sobě nejsou největším problémem využití tohoto konceptu, ale vzhledem k praktickému využití tohoto konceptu nesou v sobě riziko jeho nesprávného definování pro účely evaluace veřejných politik. Evaluace se tak nezřídka místo změn v chování podpořených subjektů zaměřují na zachycení a zhodnocení okamžitých efektů podpory v závislosti na cílech dané intervence, např. zintenzivnění spolupráce mezi firmami a výzkumnými organizacemi (Gök a Edler, 2012, s. 8). Neúplné pochopení zákonitostí změn v chování aktérů (firem), které jsou předpokladem jejich inovační aktivity, může v praktické rovině znamenat nesprávný způsob implementace či evaluace výzkumných a inovačních politik, případně obojí (Georghiou, 2007).

Úspěšná výzkumná a inovační politika musí zvyšovat kognitivní kapacitu podpořených aktérů nutnou pro jejich vyšší inovační aktivitu a výkonnost (Gök a Edler, 2012, s. 2). V tomto smyslu politika VaVaI nereaguje na selhání trhu, ale musí překonávat systémová selhání v produkci a šíření znalostí. Podle Göka (2010) je úlohou veřejné správy měnit chování ekonomických subjektů a tak usměrňovat tržní procesy a povzbuzovat různorodost v ekonomickém systému. Politika VaVaI má také napomáhat šíření znalostí ve smyslu spill over efektů, jak uvádí Falk (2009). Z vyšší kognitivní kapacity, resp. inovační výkonnosti firem spolu s jejich schopností využívat nové technologie a výsledky VaV mohou mít zároveň prospěch další na ně navázaní aktéři inovačního systému (spolupracující subjekty, zákazníci), což v dlouhodobém měřítku přispívá k rostoucím investicím do inovací v dané zemi či regionu. Behaviorální adicionalita tedy překračuje podpořené projekty, získaná dotace má nepřímý vliv nejen na chování podpořených podniků, ale ovlivňuje i chování dalších subjektů.

3. Dopady hodnocené behaviorální adicionalitou

Současný výzkum behaviorální adicionality ukazuje, že evaluace behaviorální adicionality se zaměřuje zejména na vlivy veřejné podpory na financování VaV aktivit, spolupráci a v menším rozsahu také na transfer technologií (Cunningham a Gök, 2012; Gök a Edler, 2012; Edler a kol., 2013; Amanatidou a kol., 2014).

V literatuře je behaviorální adicionalita označována jako multidimenzionální koncept, uvnitř kterého lze definovat řadu různých typů, resp. dimenzí adicionality. Hranice probíhající mezi jednotlivými typy adicionality ovšem není vždy ostrá (Falk 2009; Georghiou and Clarysse, 2006). V tabulce 2 jsou uvedeny jednotlivé typy adicionality.

Jednotlivé typy behaviorální adicionality se mohou lišit také z hlediska jejich důležitosti pro celkové přínosy veřejných politik. V tomto ohledu jsou typy adicionality zvyšující kompetence podpořených subjektů i „přívětivost“ prostředí (adicionalita „kognitivní kapacity“, management adicionalita) klíčové, protože napomáhají vytváření obecně definované kapacity firem vedoucí ke vzniku spill-over efektů do oblasti vytváření inovací (Larosse, 2004, s. 9-10). Naproti tomu některé typy behaviorální adicionality (např. scale adicionalita a scope adicionalita) jsou – stejně jako adicionalita vstupů a výstupů – spjaté s realizací určitého projektu a otázka dlouhodobosti vyvolaných změn tedy u nich není nastolena (Falk, 2009, s. 9).

Dopady veřejné podpory na chování firem lze podle Clarysse a kol. (2006) rozlišit a kategorizovat podle několika hledisek:

• podle organizační úrovně – jiné jsou dopady na strategické úrovni související s celkovým směřováním firmy a jiné na úrovni operační vztahující se ke schopnostem managementu implementovat firemní strategii,
• podle doby trvání na krátkodobé dopady, které se obvykle projevují již během realizace projektu, a dlouhodobé (nebo též trvalé) dopady spojené se získanými kompetencemi,
• podle rozsahu na dopady na projektové úrovni a dopady na úrovni celé firmy.

Schematicky jsou uvedené dopady znázorněny v tabulce 3.

 

Georghiou (2007) ve vazbě na strategickou úroveň směřování firmy identifikoval několik možných oblastí dopadů:

• Získávání znalostí - zahrnuje způsob organizace VaV ve firmě, vliv externích sítí na získání znalostí. S rozvojem kolaborativního VaV vytváří spolupráce se specializovanými dodavateli a universitami (včetně akvizic start up firem) novou organizaci výroby (Coombs and Georghiou, 2002).
• Lidské zdroje – mohou být přímým cílem politiky VaV ve smyslu tvorby pracovních míst či nepřímým výsledkem jako je rozvoj schopností manažerů a výzkumníků a jejich kvalifikace v kontextu podpořeného projektu.
• Kapitálové investice – nejsou na první pohled záležitostí chování podniků, nicméně obdržená podpora VaV může ovlivnit lokalizaci výzkumných oddělení s následným dopadem na region a spolupráci s dalšími subjekty. Je také možné, že získaná podpora může přimět firmu k nákupu vybavení a následného posílení oblastí VaV, které dosud nebyly ve firmě realizovány.
• Tržní pozice – VaV může přispět k transformaci firmy ve smyslu kvalitativního posunu v hodnotovém řetězci, kdy se může posunout na pozici technologického leadera. Projekt také může přispět k zisku nového trhu, rozšíření výrobkového portfolia apod.
• Výroba či poskytování služeb – může být přímo důsledkem inovačně zaměřeného projektu či nepřímo v důsledku toho, že firma získá znalosti, které jí umožní změnit způsob výroby či poskytování služeb.
• Korporátní zodpovědnost a udržitelný rozvoj – může být explicitním cílem projektu či externalitou, např. inovace může vést ke snížení materiálových a energetických vstupů a následně vést k reorganizaci, v níž firma využije této výhody.

Z uvedených oblastí dopadů je zřejmý úzký vztah behaviorální adicionality k adicionalitě výstupů. K tomu Davenport a kol. (1998) uvádějí, že hodnocení behaviorální adicionality ve smyslu pochopení chování firem a firemních procesů přináší informace pro správné pochopení adicionality výstupů. Úzký vztah k adicionalitě výstupů zdůrazňuje také Georghiou a kol. (2004) a tabulku uvedenou výše doplňuje o dopady, které sleduje hodnocení adicionality výstupů a vstupů (viz tabulka 4). Zatímco tedy při hodnocení adicionality výstupů jsou sledovány např. ekonomické charakteristiky podniků, aniž by bylo vysvětleno, jaké faktory vedly k jejich změně, při hodnocení behaviorální adicionality jsou zjišťovány právě tyto faktory způsobující změnu ekonomických charakteristik a jejich trvalost. Nicméně v některých případech, jako např. při zlepšení poskytovaných služeb a výrobků, může být obtížné stanovit striktní hranici
mezi adicionalitou vstupů a behaviorální adicionalitou. V takovém případě záleží na zaměření evaluace a evaluačních otázkách, tedy na koncepčním rámci prováděné evaluace.

 

4. Přístupy k hodnocení behaviorální adicionality

Hodnocení behaviorální adicionality je v současnosti limitováno několika zásadními faktory. Amanatidou a kol. (2014) uvádějí jako hlavní faktory, které omezují hodnocení behaviorální adicionality a její využití pro hodnocení politik VaVaI:

• koncept behaviorální adicionality není dosud jednoznačně vymezen a zaštítěn odpovídajícími teoriemi včetně ekonomických teorií;
• metodologické problémy související s nejednoznačným uchopením behaviorální adicionality, nesprávného využívání včetně přetrvávajícího chápání podniků, resp. jejich procesů ve smyslu „black box“;
• Vymezení vhodné jednotky pro analýzu, která by odpovídala celostní povaze inovačního procesu.

Nejednoznačné teoretické vymezení behaviorální adicionality se projevuje např. ve skutečnosti, že je hodnocena jako vstup (Afcha a García-Quevedo, 2014; Neicu, Teirlinck a Kelchtermans, 2014), výstup (Roper a Xia, 2014) či proces (Simachev a kol., 2015) související s vývojem nového produktu či procesu, přičemž změna v chování podniků je chápána čistě ve smyslu tržních sil (tedy ve smyslu neoklasické ekonomie). Někteří autoři (např. Gök, 2010; Georghiou a Clarysse, 2006; Chapman a Hewit-Dundas, 2015) se při analýze behaviorální adicionality přiklánějí spíše k evaluační a institucionální ekonomii a pracují s dynamickými změnami firemních procesů a jejich chování a s konceptem omezené racionality. Nabízí se také využití přístupů, resp. konceptů behaviorální ekonomie (viz např. Chetty, 2015), avšak dostupná teoretická literatura, ani evaluace programů v oblasti VaVaI se využitím tohoto přístupu dosud nezabývaly. Behaviorální adicionalita tedy může být hodnocena pomocí různých ekonomických přístupů, jejichž výběr závisí v prvé řadě na preferencích evaluátora a dále na evaluačních otázkách.

Gök (2010) se pokusil vytvořit teoretický koncept behaviorální adicionality. Navrhl vývojově strukturalistický přístup, ve kterém je behaviorální adicionalita chápána jako přírůstkový proces přizpůsobování se firemních aktivit (včetně procesů) vlivu veřejné podpory. V souladu s Georghiou a Clarysse (2006) ve svém konceptu nevztahuje behaviorální adicionalitu k tržním problémům (přizpůsobování se trhu) nýbrž problémům systémovým. Předmětem analýzy je kognitivní kapacita podniků a vztah mezi produkcí znalostí a jejich využíváním a šířením jak uvnitř firmy, tak i v ekonomickém systému. Navrhuje analytický rámec, v němž změny v chování probíhají na třech hierarchických úrovních: mikro, mezo a makro. Mikro úroveň představují podpořené podniky. V podpořeném podniku vlivem získané podpory dochází ke změně stávající rutiny (postupu, procesu) či k jejímu vytvoření, pokud se jedná o novou rutinu. Jak se rutina stává pro podnik významnější, dochází k jejímu šíření uvnitř organizace, aby byla následně normalizována. Následně se rutina šíří na mezo úroveň, kdy dochází k procesu imitace ostatními firmami, a to až na úroveň celého odvětví. Může se dále šířit až na makro úroveň, kde se rutina stává výrobním paradigmatem na úrovni celého systému. Tento teoretický koncept, který jeho autor považuje i za analytický rámec, může být vhodný pro analýzu šíření významnějších inovací, které jsou nové na trhu. Typicky může jít o procesní inovace či poznatky VaV, které umožňují procesní inovace. Současně šíření rutin může trvat různou a v některých případech i dosti dlouhou dobu. Z praktického hlediska evaluace programů VaVaI je tedy obtížné tento koncept aplikovat v plném rozsahu.

Oproti tomuto širokému konceptu Chapman a Hewit-Dundas (2015) přicházejí s úžeji vymezeným rámcem pro hodnocení behaviorální adicionality, jehož základem je postoj podniků (managementu podniků) k inovacím, jde tedy o firemní strategii. Navržený konceptuální rámec schematicky ukazuje obrázek 1. Vývoj behaviorální adicionality je v obrázku znázorněn zprava doleva. Podpora z veřejných zdrojů nejprve ovlivňuje lidské zdroje v podniku. Rozvojem lidského kapitálu, jeho vzděláváním a vzájemnou spoluprací dochází ke změně strategického přístupu k inovacím a změnám v postoji managementu k inovacím. Navržený rámec akcentuje proces učení se, který v něm působí jako zpětná vazba a umožňuje zvyšování kognitivní kapacity podniku.

 

Při aplikaci konceptu behaviorální adicionality pro hodnocení programů VaVaI jsou ovšem vytvářeny ad hoc rámce, které vycházejí z evaluačních otázek a teorií v oblasti firemního managementu, managementu inovací a znalostního managementu (OECD 2006). Nicméně prezentované teoretické přístupy mohou být inspirativní i při formulaci evaluačních otázek (a při vytváření právě takových ad-hoc přístupů).

Jednotkou analýzy behaviorální adicionality jsou zejména soukromé podniky, které z veřejných prostředků získaly podporu svých VaVaI aktivit. Avšak podpořené podniky se liší řadou charakteristik, které je třeba při hodnocení zohlednit. Jedná se např. o velikostní a vlastnickou strukturu podniků či jejich historii (dobu od jejich založení). Proto Georghiou a kol. (2004, s. 14) rozlišují tři základní skupiny podniků. První skupinou jsou velké podniky s relativně intenzivním VaV. V tomto případě je příspěvek projektu i jeho rozsah relativně malý v porovnání s celkovými firemními výdaji na VaV a rozsahem VaV aktivit. Otázka behaviorální adicionality by tedy měla být posuzována spíše ve smyslu strategického zaměření a úrovně vlivu na aktivity VaV. Hlavním motivem pro získání podpory z veřejných prostředků bude pravděpodobně spíše získání znalostí než využití výsledků. Druhou skupinou podniků jsou tradiční malé a střední podniky. U nich bude projekt pravděpodobně významný ve vztahu k celkovému firemnímu VaV či inovačním aktivitám jako celku. Je možné očekávat, že projekty se více zaměřují na vývoj než na výzkum a pravděpodobně zahrnují externí poskytovatele VaV či technického poradenství. Třetí skupinu představují technologicky zaměřené začínající podniky. Pro tuto skupinu podniků je obdržená podpora zpravidla ústředním bodem jejich strategie. Pravděpodobně realizují jen jeden výzkumný projekt, ačkoliv jeho financování může pocházet z různých zdrojů. Procesy a postupy v těchto podnicích jsou nejméně ukotveny, a proto mohou být nejvíce ovlivněny vnějšími zásahy (intervencí z veřejných zdrojů).

Behaviorální adicionalita je podobně jako adicionalita vstupů a výstupů hodnocena pomocí kvalitativních a kvantitativních metod. Mezi nejčastěji používané kvalitativní metody patří dotazníková šetření, strukturované rozhovory, fokusní skupiny a případové studie. Z kvantitativních metod převládají ekonometrické přístupy. Jejich využití ovšem naráží na dostupnost „tvrdých“ dat, neboť již z jejich samotné povahy jsou nehmatatelné behaviorální změny obtížněji kvantifikovatelné. Je proto velmi obtížné přizpůsobit běžně používané ekonometrické modely konceptu behaviorální adicionality. Hlavním problémem je nadefinování behaviorálních projevů, které mají být vytvořeným modelem (rovnicí) zjišťovány. Vzhledem k jejich zmiňované nehmotné povaze se tyto projevy musí opírat o nějaký druh kvantitativních ukazatelů.

Avšak kvantitativní hodnocení, resp. kvantitativní ukazatele, které se současně používají pro hodnocení adicionality vstupů a výstupů, mohou zastírat skutečné kvalitativní změny v podnicích. Jestliže je hodnocení adicionality vstupů a výstupů vyčítáno, že procesy VaVaI uvnitř podpořených subjektů chápou jako „black box“, kvantitativní hodnocení behaviorální adicionality pomocí těchto ukazatelů tuto „černou skříňku“ (black box) neotvírá a neobjasňuje procesy, ale spíše rozděluje black box do několika parciálních black boxů (Gök a Edler, 2012). Následně jsou tyto black boxy analyzovány ve smyslu jejich vstupů a výstupů. Příkladem může být hodnocení spolupráce, která je hodnocena na základě zdrojů alokovaných na spolupráci a na nárůst hodnot ukazatelů výstupů spolupráce (tj. počet partnerů, společných výsledků apod.). Proto někteří autoři (např. Amanatidou et al., 2014) tento přístup kritizují a zdůrazňují potřebu behaviorální adicionalitu hodnotit kvalitativně.

K překonání slabin obou přístupů je vhodné je vzájemně kombinovat, tedy provádět triangulaci metod, což umožňuje dosahovat robustnějších závěrů, než jakých by bylo možné dosáhnout jen za pomoci jedné z metod (Venn, 2005; Cooke, 2007; 2008; Gullbrandsen a Rasmussen, 2012).

5. Hodnocení behaviorální adicionality v Česku

Hodnocení programů na podporu VaVaI se v ČR v prvé řadě řídí Metodikou hodnocení výzkumných organizací a hodnocení programů účelové podpory výzkumu, vývoje a inovací, kterou schválila Vláda ČR usnesením č. 107 ze dne 8. února 2017. Tento dokument stanovuje, že programy mají být hodnoceny dle Základních principů přípravy a hodnocení programů a skupin grantových projektů výzkumu, vývoje a inovací, kterou schválila Vláda ČR usnesením č. 351 ze dne 13. května 2015. Před schválením tohoto dokumentu se hodnocení programů řídilo každoročně aktualizovanou Metodikou hodnocení výzkumných organizací a ukončených programů účelové podpory VaVaI, jenž pro hodnocení programů jen stanovovala stručnou strukturu hodnotící zprávy, aniž by se jakkoliv zabývala evaluačními otázkami, přístupy a metodami (Čadil 2014).

Základní principy stručně charakterizují jednotlivé druhy hodnocení a přinášejí i základní evaluační otázky a témata hodnocení. Avšak podobně jako předchozí metodiky neuvádějí možné metody a přístupy včetně potřeby hodnocení adicionality. Výjimku představuje jen zmínka o využití ekonometrické analýzy pro hodnocení ekonomických dopadů, kde je doporučeno využití kontrafaktuální analýzy pro zhodnocení zlepšení ekonomických charakteristik podpořených podniků (jedná se tedy o hodnocení adicionality výstupů, jakkoliv takto v dokumentu není označena, ani blíže vysvětlena). Protože tedy není v závazných dokumentech adicionalita nijak definována a stanovena povinnost jejího hodnocení, k jejímu hodnocení až na určité výjimky při hodnocení programů nedochází. Převládá stále formální hodnocení vstupů a výstupů programů, aby byly formálně splněny povinnosti hodnocení dané uvedenými dokumenty.

Ačkoliv tedy hodnocení adicionality obecně není v ČR vyžadováno (zatím bylo realizováno ekonometrické hodnocení adicionality výstupů u programu ALFA), k jejímu hodnocení dochází v rámci výzkumných aktivit např. Srholce, Ratingera, Potluky či Dvouletého. Srholec a Palguta (2016) využili metodu regresní diskontinuity pro hodnocení adicionality vstupů. Zjišťovali, zda veřejné prostředky vynaložené na podporu VaVaI ve firemním sektoru přitahují další soukromé prostředky. Metodu aplikovali na projektech podpořených ve třetí veřejné soutěži programu ALFA, který implementuje TA ČR. Sidorkin, Srholec (2017) hodnotili adicionalitu výstupů na příkladu programů IMPULS, TIP a TANDEM. Zjišťovali, zda programy stimulovaly vytvoření dodatečných výsledků VaV v podobě žádostí o udělení ochrany duševního vlastnictví prostřednictvím patentů a užitných vzorů. Ratinger (2015) hodnotil dopady investování do výzkumu na produktivitu zemědělství v České republice s využitím kointegrační analýzy, přičemž se soustředil na zjištění vztahu mezi celkovou produktivitou práce, znalostní zásobou a přenosem znalostí ze zahraničí. Potluka a kol. (2013) a Dvouletý (2017) sledovali vliv účelové podpory na ekonomické výsledky podpořených podniků v ČR.

Hodnocení behaviorální adicionality je však dosud věnována jen velmi malá pozornost, a to jak ve smyslu výzkumných aktivit, tak také z hlediska praktického využití při hodnocení konkrétních programů pro potřeby poskytovatelů účelové podpory. Jednou z výjimek je práce Kostiće (2018), který sledoval účastnickou návaznost mezi programy IMPULS, TIP, TANDEM, ALFA a Centra kompetence a zaměřoval se na follow-up adicionalitu, přičemž hodnotil vývoj výdajů na VaV z různých zdrojů a zaměstnanosti ve VaV v letech následujících po přidělení veřejné podpory.

Při hodnocení programů byla behaviorální adicionalita sledována při závěrečném hodnocení programu TIP (Kučera, Čadil a kol., 2018). Hodnocení jednotlivých oblastí behaviorální adicionality však bylo determinováno evaluačními otázkami, resp. okruhy hodnocení, které definoval poskytovatel účelové podpory. Z behaviorální adicionality byl kvalitativně sledován vliv udělené podpory na rozvoj spolupráce, realizaci aktivit VaVaI a strategii podniku. Schematicky je použitý rámec znázorněn na obrázku 2. Hodnocené efekty lze z hlediska doby, po které nastanou, i z hlediska jejich trvalosti rozdělit na krátkodobé a dlouhodobé.

Krátkodobé efekty začínají s realizací podpořených projektů, přičemž jejich trvalost může, ale nemusí překračovat dobu realizace projektů. Jejich trvalost je totiž často zajišťována veřejnými prostředky získanými z jiných projektů. Příkladem může být pokračování započaté spolupráce podniků s výzkumnými organizacemi. Jak ukazuje obrázek 2, mezi krátkodobé efekty patří efekty z oblastí spolupráce a realizace VaVaI. Efekty v oblasti spolupráce zahrnují vytvoření nové spolupráce, tedy spolupráce se subjektem, se kterým dosud podpořený podnik nespolupracoval. Dále se jedná o změnu charakteru spolupráce, tedy zda došlo ke kvalitativním změnám ve spolupráci ve smyslu posunu od konzultací či expertíz až ke společnému VaV, při němž byly sdíleny výsledky a kapacity VaV. Mezi efekty v oblasti realizace VaVaI patří změny tematického zaměření díky získanému projektu. Dalším efektem byl vliv na rozsah řešených aktivit VaVaI a délku jejich realizace (zkrácení doby realizace výzkumného projektu).

Krátkodobé efekty přispívají k dlouhodobým efektům (resp. pozitivní krátkodobé efekty resultují v dlouhodobé efekty), z nichž za hlavní efekt uvedení autoři považují strategii podniku. V oblasti strategie byl zjišťován vliv projektů na organizaci a strategii VaVaI, resp. pozici těchto aktivit v rámci firemních aktivit a jejich význam pro rozvoj podniků a rozvoj inovační aktivity.

Zmíněné hodnocení programu TIP bylo založeno zejména na dotazníkovém šetření mezi podpořenými podniky, k němuž bylo doplňkově provedeno dotazníkové šetření mezi výzkumnými organizacemi zapojenými do řešení kooperativních projektů, aby se byly zjištěny také názory druhé kooperující strany k problematice rozvoje spolupráce a bylo tak možné upřesnit zjištění za podnikový sektor. Dalším zdrojem informací byly strukturované rozhovory s řešiteli vybraných projektů, přičemž byly v případě kooperativních projektů uskutečněny rozhovory s řešiteli z obou sfér. Projekty byly vybrány tak, aby rozhovory pokrývaly různé typy podniků – začínající podnik, malý podnik, střední podnik, velký podnik v domácím vlastnictví a velký podnik v zahraničním vlastnictví. Podobně dotazníkové šetření bylo vyhodnoceno v závislosti dle velikostních kategorií a typu vlastnictví.

Provedené hodnocení na základě uvedeného rámce prokázalo značnou využitelnost konceptu behaviorální adicionality pro hodnocení programů VaVaI v ČR. Poskytlo cenné informace, které umožnily chápat výsledky hodnocení adicionality výstupů v jiném světle. Hodnocení adicionality výstupů totiž ukázalo, že ekonomické efekty projektů se vzhledem ke krátké době od jejich ukončení ještě nestačily rozvinout, či budou velmi omezené, nebo se nerozvinou vůbec z důvodu změny tržní situace. Avšak efekty behaviorální adicionality a zejména ty krátkodobé nastaly ve velmi krátké době a jsou zřejmější než ekonomické efekty hodnocené v rámci adicionality výstupů, jejichž vývoj byl navíc ovlivněn ekonomickou krizí, která probíhala takřka po celou dobu realizace projektů. U řady projektů došlo rovněž i k dosažení dlouhodobých efektů behaviorální adicionality.

Avšak hodnocení též prokázalo určitá omezení pro využití konceptu behaviorální adicionality. Zásadním omezením (které je ovšem společné i pro hodnocení adicionality vstupů a výstupů) je, že je téměř nemožné porovnat vývoj v podpořených podnicích s vývojem v podobných podnicích, které nebyly podpořeny. Vytvoření kontrolní skupiny pro toto hodnocení naráží na skutečnost, že počet podniků, které získávají účelové dotace na VaVaI je téměř shodný s počtem podniků, které provádějí VaVaI (které zahrnuje ČSÚ do každoročního šetření). Lze říci, že v ČR existuje málo podniků, které provádějí VaVaI, ale nezískaly a nezískávají účelové dotace na tuto aktivitu. Dalším faktorem, který neumožnil provést kontrafaktuální analýzu, byl nedostatek času vymezeného pro evaluaci programu. V takovém případě bylo možné jen provést porovnání s obdobím před udělením dotace. Avšak i v tomto období je velmi pravděpodobné, že podnik získal nějakou dotaci a tedy, že projekt, který byl podpořen hodnoceným programem, navázal na předchozí projekty podpořené jinými programy. Toto omezení bylo do jisté míry překonáno tím, že v rozhovorech a dotazníkových šetřeních byly zjišťovány kvalitativní změny v porovnání s dřívějšími projekty.

 

6. Závěr

Přes rozdílné přístupy k chápání konceptu behaviorální adicionality v odborné literatuře a evaluačních studiích lze za jeho hlavní charakteristiku považovat změny ve firemních procesech a chování firem vlivem obdržené veřejné podpory, které jsou buď dlouhodobého charakteru, nebo mají alespoň potenciál změnit celkový přístup firem k řešení výzkumných projektů. Z tohoto hlediska může být behaviorální adicionalita vhodnějším přístupem pro sledování dlouhodobých dopadů výzkumných a inovačních politik než více etablované koncepty adicionality vstupů a výstupů. Tyto koncepty se zpravidla vztahují k jednomu bodu v čase, zatímco koncept behaviorální adicionality sleduje celý vývoj vlivu získané podpory. Současně efekty (dopady) hodnocené v rámci behaviorální adicionality mohou nastat v relativně krátkém čase, avšak dopady sledované v rámci adicionality výstupů se mohou projevit až za poměrně dlouhou dobu v závislosti na uplatnění vytvořených výstupů na trhu. Efekty behaviorální adicionality tedy mohou být hodnoceny již v průběhu podpořených projektů či krátce po jejich ukončení. Protože behaviorální adicionalita, resp. kognitivní kapacita podniků je kumulativního charakteru a je úzce spojena s jejich inovačním (znalostním) potenciálem (tj. s rozvojem kognitivní kapacity se zvyšuje inovační potenciál), může být v důsledku pro další rozvoj podniků významnější než vlastní vytvořené výstupy, jejichž ekonomický přínos (hodnocený v rámci adicionality výstupů) může být limitován změnou tržních podmínek nebo sestupnou fází ekonomického cyklu.

V ČR je využití hodnocení behaviorální adicionality při evaluacích programů VaVaI omezováno z důvodu nedostatečné poptávky ze strany implementačních subjektů (ministerstev). Tyto subjekty potřebují pro opodstatnění svých programů jednoduchou politickou argumentaci ve smyslu: kolik korun na výstupu (tj. zvýšení tržeb podpořených podniků) generuje jedna koruna na vstupu (objem veřejných zdrojů programu), přičemž se nezajímají o způsob, jakým je dosaženo výstupů a výsledků programu. Tato logika s sebou nese určitý nezájem o podstatu fungování inovačního procesu a realizace firemních VaV aktivit, což v důsledku může vyústit v neodpovídající zaměření programů VaVaI a tedy neefektivní podporu těchto aktivit. Úlohou evaluátora tedy není jen vyhodnotit program podle zadání implementačního subjektu, ale současně jej přesvědčit o potřebě získání informací o chování podpořených podniků a povaze jejich aktivit VaVaI. Nápomocná může být rovněž spolupráce implementačních subjektů se zahraničními poskytovateli účelové podpory, kteří již standardně sledují behaviorální adicionalitu. Avšak taková spolupráce je v případě ministerstev, která jsou v ČR dominantními poskytovateli účelové podpory, zatím velmi málo rozvinutá.

 

Zdroje

• AFCHA, S. a J. GARCÍA-QUEVEDO. The impact of R&D subsidies on R&D employment composition. Industrial and Corporate Change, 2016 25(6), s. 955-975. ISSN 0960-6491.
• AMANATIDOU, E. a kol. Using Evaluation Research as a Means for Policy Analysis in a ‘New’ Mission-Oriented Policy Context. Minerva, 2014, 4(52), s. 419-438. ISSN 0026-4695.
• ASCHHOFF, B., A. FIER a H. LÖHLEIN. Detecting behavioural additionality: An empirical study on the impact of public R&D funding on firms' cooperative behaviour in Germany [ZEW Discussion Paper 6/2006]. Mannheim: Centre for European Economic Research, ©2006.
• ASLESEN, H. W., M. BROCH, P. M. KOCH a N. H. SOLUM. User oriented R&D in the Research Council of Norway. Oslo: Research Council of Norway, ©2001.
• BOEKHOLT, P., E. ARNOLD, F. GIARRACCA a M. PlOEG. Evaluation Reefernce Model for TAFTIE’s Takskforce Benchmarking Impact, Effectiveness and Efficiency of Innovation Instruments. Breighton: Technopolis Group, ©2014.
• BUISSERET, T. J., H. M. CAMERON a L. GEORGHIOU. What Difference Does It Make - Additionality in the Public Support of R&D in Large Firms. International Journal of Technology Management, 1995, 6(10), s. 587-600. ISSN 0267-5730.
• BUSOM, I., a A. FERNáNDEZ-RIBAS. The impact of participation in R&D programs on R&D partnerships [WIFO Working Papers 251/2005]. Vienna: Austrian Institute for Economic Research, ©2005.
• COOKE, P. a kol. Evaluation Report by the VINNVÄXT International Review Team [VINNOVA Report 11/2007]. Stockholm: VINNOVA, ©2007.
• COOKE, P. a kol. VINNVÄXT II: Generalist and Specialist Evaluation of Process and Knowledge Development (2004–2007) [VINNOVA Report 12/2008]. Stockholm: VINNOVA, ©2008.
• CHAPMAN, G., a N. HEWIT-DUNDAS. Behavioural Additionality: An Innovation Orientation Perspective. In: DRUID Academy conference. Aalborg: DRUID, 2015, s. 21-23.
• CHETTY, R. Behavioral economics and public policy: A pragmatic perspective. American Economic Review, 2015, 105(5), s. 1-33. ISSN 0002-8282.
• CUNNINGHAM, P. N. a A. GÖK. The Impact and Effectiveness of Policies to Support Collaboration for R&D and Innovation [NESTA Working Paper Series 12/2012]. London: NESTA, ©2012.
• CLARYSSE, B., V. BILSEN a G. STEURS. Behavoural additionality of the R&D subsidies programme of IWT-Flanders (Belgium). In: OECD, Government R&D Funding and Company Behaviour: Measuring Behavioural Additionality. Paris: OECD, 2006. ISBN 92-64-012584-7.
• CZARNITZKI, D., P. HANEL a J. MIGUEL ROSA. Evaluating the impact of R&D tax credits on innovation: a microeconometric study on Canadian firms [ZEW Discussion Paper 4/2004]. Mannheim: Centre for European Economic Research, ©2004.
• ČADIL, V. Metodologické nedostatky stávajícího hodnocení programů výzkumu, vývoje a inovací v ČR. ERGO, 2014, 2(9), s. 11-16. ISSN 1802-2006.
• DAVENPORT, S., C. GRIMES a J. DAVIES. Research collaboration and behavioural additionality: A New Zealand case study. Technology Analysis & Strategic Management, 1998, 10(1), s. 55-68. ISSN 0953-7325.
• DVOULETÝ, O. Effects of Soft Loans and Credit Guarantees on Performance of Supported Firms: Evidence from the Czech Public Programme START. Sustainability, 2017, 9(12), 2293. ISSN 2071-1050.
• EDLER, J. a kol. Impacts of Innovation Policy: Synthesis and Conclusion [NESTA working paper 13/2013]. London: NESTA, ©2013.
• FALK, R. Behavioural Additionality Effects of R&D Subsidies. Empirical Evidence from Austria [WIFO Working Papers 223/2004]. Vienna: Austrian Institute for Economic Research, ©2004.
• GEORGHIOU, L. What Lies Beneath: Avoiding the Risk of Under-evaluation. Science and Public Policy, 2007, 10(34), s. 743-752. ISSN 0302-3427
• GEORGHIOU, L. a B. CLARYSSE. Introduction and Synthesis. In: OECD. Government R&D Funding and Company Behaviour monitoring Behavioural Additionality, In: Government R&D Funding and Company Behaviour monitoring Behavioural Additionality. Paris: OECD, 2006. ISBN 92-64-012584-7.
• GEORGHIOU, L., B. CLARYSSE, G. STEURS, V. BILSEN a L. LAROSE. Making the Difference, The Evaluation of Behavioural Additionality of R&D Subsidies [IWT Studies 48/2004]. Bielefeld: Bielefeld University, ©2004.
• GÖK, A. An Evolutionary Approach to Innovation Policy Evaluation: Behavioural Additionality and Organisational Routines. Manchester: PREST, The University of Manchester, ©2010.
• GÖK, A. a J. EDLER. The use of behavioural additionality evaluation in innovation policy making. Research Evaluation, 2012, 1(21), s. 1-13. ISSN 0958-2029.
• GULLBRADSEN, M. a E. RASMUSSEN. The Use and Development of Indicators for the Commercialisation of University Research in a National Support Programme. Technology Analysis & Strategic Management, 2012, 24(5) s. 481-495. ISSN 0953-7325
• FALK, R. Does Europe change R&D-behaviour? Assessing the behavioural additionality of the Sixt Framework Programme. Final report prepared for the European Commission. Brussels: DG Research, ©2009.
• KOSTIĆ, M. Účastnická návaznost mezi programy podpory podnikového výzkumu a follow-up adicionalita účasti v programech IMPULS, TANDEM a TIP. ERGO, 2018, 1(13), s. 23-32. ISSN 1802-2006.
• KUČERA, Z. a V. ČADIL. Závěrečné hodnocení programu na podporu aplikovaného výzkumu, experimentálního vývoje a inovací TIP. Praha: TC AV ČR, ©2018.
• LAROSSE, J. Conceptual and empirical challenges of evaluating the effectiveness of innovation policies with ‘behavioural additionality’ (the case of IWT R&D subsidies). Brussels: IWT Flanders, ©2004.
• LENIHAN, H. a M. HART. Additionality and public sector support to Irish industry: some methodological issues. In: Proceedings of Conference on Research and the Knowledge based Society-Measuring the Link, European conference on good practice in evaluation and indicators. Galway: NUI, 2004, s. 129-147.
• MADSEN, E. L. a B. BRASTAD. Behavioural additionality of Norway’s financial support programmes. In: OECD. Government R&D Funding and Company Behaviour monitoring Behavioural Additionality. In: OECD. Government R&D Funding and Company Behaviour monitoring Behavioural Additionality. Paris: OECD, 2006. ISBN 92-64-012584-7.
• NEICU, D., P. TEIRLINCK a S. KELCHTERMANS. Dipping in the policy mix: do R&D subsidies foster behavioral additionality effects of R&D tax credits? [Working Paper MSI_1409 2014]. Kuleuven: Faculty of Economics and Business Department of Managerial Economics, Strategy and Innovation, ©2014.
• PALGUTA, J. a M. SRHOLEC. Stimulují přímé dotace soukromé výdaje firem na VaV? Metoda regresní diskontinuity [Studie 17/2016]. Praha: Národohospodářský ústav AV ČR v.v.i., ©2016.
• PEGLER, B. Behavioural Additionality in Australian Business R&D Grant Programs: A Pilot Study, Department of Industry, Tourism and Resources. In: OECD. Government R&D Funding and Company Behaviour monitoring Behavioural Additionality. Paris: OECD, 2006. ISBN 92-64-012584-7.
• POTLUKA, O., J. BRUHA, O. VOZAR, M. SPACEK a J. LOUN. The Impacts of Subsidies on Czech Firms. Statistika: Statistics and Economy Journal. 2013, 93(4), s. 56-62. ISSN 0322-788x.
• RATINGER, T. Investice do VaV, přelévání technologie a produktivita v zemědělství, případ České republiky. Agricultural Economics. 2015, 7(61), s. 297-313. ISSN 0139-570X.
• ROPER, S. a H. XIA. Innovation, innovation strategy and survival [ERC Research Paper 17/2014]. Coventry: University of Warwick, ©2014.
• SIDOKIN, O. a M. SRHOLEC. Do Direct Subsidies Stimulate New R&D Outputs in Firms? The Comparison of the IMPULS, TIP and ALFA Programmes [Studie 8/2017]. Praha: Národohospodářský ústav AV ČR v.v.i. ©2017.
• SIMACHEV, Y. a kol. Public Support for Innovation in Russian Firms: Looking for Improvements in Corporate Performance Quality. International Advances in Economic Research, 2015, 1(21), s. 13-31. ISSN: 1083-0898.
• HM TREASURY. The Green Book: appraisal and evaluation in central government. London: HM Treasury, ©2003. ISBN 978-1-912225-57-6.
• Government R&D Funding and Company Behaviour monitoring Behavioural Additionality. Paris: OECD, ©2006. ISBN 92-64-012584-7.
• ÚŘAD VLÁDY. Základní principy přípravy a hodnocení programů a skupin grantových projektů výzkumu, vývoje a inovací. Praha: Úřad vlády, 2016.
• VEEN, G. et al. Evaluation Leading Technological Institute, Final Report. Brighton: Technopolis, ©2005.